1928年5月3日日军在济南制造“五·三”惨案，惨杀蔡公时，屠戮全城。1928年5月月3日，北伐军宣传员在济南魏家庄贴标语，日兵无理阻挠，开枪射击，造成数人伤亡。同日，有一中国士兵徒手经过日军警备区域，因语言不通与日兵发生误会，日兵开枪将其击毙。各地日兵闻枪声，亦纷纷放枪射击。日军包围驻扎牌照税局的北伐军一营，该营因未接到抵抗命令，被日军缴械俘虏。日军还将南仁义里与五马路的北伐军俘虏缴械。凡中国人碰上日军，皆被枪杀。

5月3日，国民党战地委员会外交处长兼山东特派交涉员蔡公时遵照战地委员会命令，于上午8时率领职员到交涉署接事办公。晚9点，30多名日军闯进交涉署掳掠，将国民党青天白日旗和孙中山先生遗像统统撕毁，将外交文件弃置满地。

蔡公时用日语向彼理论：“这是中国政府外交机关，非战斗单位，日本皇军，素有教养，通晓事务，举世皆知，应该尊重睦邻友谊和外交礼貌——”日军不待蔡说完，用枪托将蔡打翻在地后，遂将全署28人一齐捆绑，拉到院内场地，撕去所有衣服毒打，用刺刀乱戳乱砍。

一个日本士兵将蔡公时的两耳割掉，蔡公时大喊：“日本人杀我！日本人对我如同古时氏族社会对待俘虏的办法割耳朵、挖眼睛来对我１日本兵转过去杀被捆的其他外交官员，杀完之后，再回来将蔡的鼻子割下，其他日本兵在旁狞笑欣赏。折磨一个多小时，才将蔡公时枪毙。全部28人皆遭惨杀。

夜11时，蒋介石派熊式辉赴日军司令部交涉，正磋商间，日军又开炮轰击中方无线电台，守台士兵被炸死多人。日军还包围并开枪射击设于津浦铁路局办事处的南京政府外交部长黄郛办公处，黄郛被迫躲避。

济南陷落后，日军将被俘的中国兵全部反绑。惨案发生之际，市民猝不及防，许多人避入邮局。日军包围邮局，将里面的中国人一一捆绑，囚禁于地下室中，断绝其饮食，并且终日毒打不休，时有被提出去遭枪杀者。被囚者约1600余人，其景况惨不可言。日军还将邮局中所有现金及邮票抢劫一空。

5月5日，蒋介石出济南城至济西之党家庄，与第二集团军司令冯玉祥会商北伐事宜，决定绕过济南，继续渡河北伐。此事为日军探悉，日军用15厘米口径野战炮向党家庄轰击。中午，日军在占领张庄、辛庄营房及白马山车站等地后，即出动骑兵和坦克袭击党家庄，企图消灭南京政府首脑机关。第一次袭击失败后，日军又于夜间发动了第二次进攻。双方相持至9日上午，北伐军不敌而退，日军遂占领党家庄，夺获行李辎重甚多。

5月8日清晨，日军开始用大炮向济南城猛烈轰击，并以飞机散发传单，勒令中国军队缴械。济南城内守军在卫戍副司令苏宗辙的指挥下紧守城垣，但奉令不得还击。中午，日军对全城实行总攻击。晚10时，守军退入内城。日军跟踪入城，用煤油在顺河街一带放火。在西北城墙和圩墙相接处，守军进行了有限的抵抗，9日晨，日军炮声尤密，城内弹如雨下。至10日晚，济南城已成一片瓦砾焦土，全城精华尽毁，中国军民死于炮火之下者达4000人以上。

11日晨，中国军队撤出济南，日军占领全城。中国百姓无辜被杀者不可胜计。

经日军血洗，济南市街犹如死城。据查在日军血洗济南的暴行中，中国军民死亡约6100余人，伤1700余人，财产损失2962万余元。