日军攻占徐州后，准备集合南北两路兵力，夺取中原，进而占领武汉。为此，6月1日，蒋介石在武汉召开最高军事会议，决定在豫东战略撤退，同时指定商震第二十集团军负责开决黄河大堤，阻止日军前进。

4日，商震派第五十三军一个团在河南省中牟县赵口决黄河堤，水流不畅，未获成功。6月5日，日军攻占开封，进逼郑州，企图打通平汉、津浦、陇海三线。

6日，国民党新八师师长蒋在珍提出改在花园口另行决堤，被采纳，得赏金2000元。蒋在珍在掘堤前，先把花园口一带的群众都赶到10里以外，然后密布岗哨，选出身强力壮的士兵800多名，分5个小队，日夜轮流掘堤，夜间以汽车上的灯光照明。6月9日上午9时许，蒋在珍部在花园口决堤成功，河水奔腾而出，水流由中牟、尉氏沿鲁河南犯。

他们唯恐决口太小，急电薛岳调来两门平射炮及士兵一排，在一名连长带领下，连射六七十发炮弹，决口扩大至370公尺，全河改道。汹涌的黄水居高临下，一泻千里。堤脚下的邵桥、史家堤、汪家堤和南崖四个村庄刹时被洪水冲毁，荡然无存。口门外刷成深13米、方圆2500多亩的深潭。洪水沿贾鲁河、颖河、涡河等河道向东南漫卷，由十几里扩展到一百多里宽，在人口稠密的大平原上横冲直撞，而后在正阳关至怀远段涌入淮河。黄水入淮后，又溢出两岸，继续泛滥，行政院善后救济总署统计：河南、安徽和江苏3省44个县中因此受灾，3911354人外逃，893303人死亡，经济损失10.9176亿元。

据中央社等报道：滔滔大水，由中牟、白沙间向东南泛滥，水势所至。庐舍荡然，罹难民众，不知凡几。洪水所致，澎湃动地，呼号震天，其骇惨痛之状，实有未忍溯想。间多攀树登屋，浮木乘舟，以侥幸不死，因而仅保余生，大都缺衣乏食，魄荡魂惊。其辗转外徙者，又以饥馁煎迫，疾病侵寻，往往横尸道路，亦九死一生。艰辛备历，不为溺鬼，尽成流民。花园口下的中牟首当其冲，全县三分之二陆沉。幸存的难民扶老携幼，纷纷两逃，郑州附近，集难民数千，食住皆无，情景堪怜。县西北十余里的沙窝地方，集有难民三千余人，十数日来，树皮草根已食之将罄，幸派出三人求救，否则再有二三日，恐全部饿毙矣。