5月28日凌晨，日军坦克部队以强大的炮火突入洛阳城。日军第十二军所属第三十七、第六十二、第六十三、第一一○师团等部以强大的攻势，占领郑州、新郑、长葛、许昌、郾城等城镇后，于5月9日上午打通河南境内的平汉铁路。与此同时，日军还攻占了平汉路以西的密县、禹州、郏县、汝州等地。日本华北方面军又以第十二军一部继续西犯，以驻晋东南的第一军第六十九、第二十七师团等部南下，造成两面夹击洛阳之势。5月12日，木村千代太率步兵第五十九旅团占领渑池，切断陇海铁路，使洛阳成为日军合围中的孤城。同时，日第十二军发起对洛阳的攻坚战。

中国守军第三十六集团军所部依托工事残损的阵地进行顽强抗击，最后甚至把整袋的大米和食盐也搬来充做胸墙和障碍物，给日军以较大的杀伤。但在日军猛烈的炮火冲击下，守军弹药将尽，市内通讯联络全部中断，终于未能挡住日军进攻。

4月17日，日军接近，洛阳长官部完全紊乱，战区司令长官蒋鼎文及高级将官纷纷抢运眷属赴陕，计被敌机炸死于洛阳至潼关铁路线者达千余人。渑池失守时，敌掳去官太太、小姐等即达300余人。洛阳此次损失粮食2000万包以上，一战区汽车350余辆被敌完好开走。守城之刘茂恩部6000人被歼，4000人投敌，余皆散荆孙蔚如部系一战区所剩最完整者，也损失半数以上，仅余万人。汤恩伯部15个师，只剩2万，步枪不足1万。一战区全部重武器、大炮、重机枪、弹药仓库等统统损失殆尽，蒋鼎文率长官部由洛阳出逃至洛宁时，竟只剩一个司机和雇用的两个农夫，后收容11个士兵作卫队，也被民众攻散。“其溃散紊乱情况之狼狈，实抗战以来所仅见”。