台儿庄战役的胜利，并没有改变抗日战场的基本形势。上月7日，日本大本营下达徐州作战命令：决定集中华北与华中兵力共30万人夹击徐州。第五战区司令长官李宗仁为了防止日军长驱直入武汉，遂决定在徐州进行抵抗，先后增调部队20余万人，连同原有部队共约60万人，全部投入作战第一线，分兵把守在西起微山湖，经峄县、兰陵、向城，东至郯城一线，长达300余里。由于兵力分散，会战一开始就陷入被动局面。

5月初，日军南北两路从徐州两翼插入迂回，切断了中国守军的退路，使中国军队立即陷入极端混乱之中，几十万大军迅速崩溃，在徐州以北，日军第十四师团从濮城南渡黄河，攻陷菏泽、郓城，5月中进入兰封东侧，切断陇海路；在徐州南，日军第一○一师团从苏北东台出发，沿运河北进，于5月初攻占阜宁，策应北线之敌南下：日军第六师团进入合肥附近，牵制中国守军力量；日军主力第三、第九、第十三师团在装甲部队和空军配合下，沿津浦路西侧北犯，至5月18日先后陷宿县、萧县，并有一部进至陇海路黄口车站。至此，日军形成对徐州的四面合围之势，中国守军被迫步步退缩。

为防止被日军歼灭，5月15日，第五战区主力奉命向西南方向突围，撤退到皖西和豫南地区，只留少数部队利用苏北、鲁西各城寨与日军周旋，以延缓其向陇海铁路的进攻。19日，徐州失陷。