日军第12军主力于1944年5月2日开始向登封转进。根据方面军的意图，该军围歼汤恩伯第13军的作战指导大致为:“派第110师团由北方，第62师团由东方，包围歼灭第13军。再派战车第3师团和骑兵第4旅团主力由临汝及其以西地区，向大金店方向前进，以便歼灭敌军。此外，派战车师团部分兵力和第37师团主力确保临汝至长埠街道路附近要冲，尽力围歼向南撤退的重庆军。”
5月3日，日军战车第3师团已突抵郏县，汤恩伯急令第85军将登封防务移交刚到的第9军，迅速增援临汝，协同47师守备城防。与此同时，守军第***亦令第17师一部协同新35师向已拥入至方家岭附近的日第110师团进攻。但在守军部署尚未就绪之际，日军第110师团已于5月4日突进至登封西北约16公里的圣水附近，切断了登封与偃师的交通线。第4集团军巩县以东阵地的侧背亦因之完全暴露。
日军战车第3师团在守军第85军到达临汝之前，已于5月4日拂晓占领临汝，守军第47师与第85军向临汝以南退走。日战车师团继续西进，当晚即进抵伊川以东附近渡河，切断了第31集团军的后方联络线。其机动步兵第3联队及战车第13联队一部，于当晚突进至洛阳南方的龙门附近，形势急转直下。至此，守军第9军与第13军已被日军分割，而第9军更陷于包围之中。
5月5日，第9军突围，向颍阳镇撤退，途中遭日军节节截击而溃散，损失重大。得悉颍阳一带已为日军占领，遂于6日夜退向嵩县东北收容整顿。与此同时，原在告成、白沙地区的第13军及暂16师及预11师亦于5日黄昏前突穿日军白沙以南的封锁线向临汝方向撤退，沿途亦遭日军战车部队的不断冲击，损失奇重，后在第85军掩护下，才得以穿越临汝以东封锁线南下，向半扎附近集结。
防守巩东、金沟至老饭沟一线的第4集团军在第9军和第13军等突围溃退后已形成孤立突出，旋奉命向洛阳西北地区转移，至5月8日亦退至陈凹附近。
至此，汜、登主阵地全部被日军占领。为了策应第12军作战，日“华北派遣军”令第1军派第69师团师团长率其第59旅团5个步兵大队及独立混成第3旅团3个大队于5月9日夜由垣曲渡黄河攻略渑池，以阻止第八战区东援;为加强进攻洛阳的进攻力量，还调防守北平的第63师团师团长率所属步兵第67旅团及3个独立步兵大队赶至郑州，并指挥独立第9旅团及第12野战补充队(称菊兵团或野副兵团)参加进攻洛阳的行动。
5月10日，“华北派遣军”下达命令:“第12军应以一部兵力歼灭临汝西南和嵩县方面的重庆军，同时以主力迅速向宜阳、新安方面挺进，进入洛阳西北方;第1军应迅速渡过黄河，向洛阳方面挺进;野副兵团应击溃洛阳以北的重庆军，向新安方面挺进;以上东、西、南互相呼应，围歼第一战区军，进而攻占洛阳;敌军退却时，应立即朝陕县或向洛宁方向急追。”
日军方面虽然下达进攻洛阳的命令，但第12军对此有不同的见解，认为当前主要的任务应该是追击刚被击溃的汤恩伯部和第31集团军，在它们整顿以前予以击歼，进攻洛阳及其周围的蒋鼎文部应视为次要任务，遂不按方面军的命令进围洛阳，仅以独立步兵第9旅团、第110师团及战车第3师团各一部对洛阳保持监视，而以主力分沿黄河南岸，朝颍阳至新安、龙门街至嵩县和宜阳方向追击前进，另以第62、第37师团分别尾追撤退的各守军部队，在临汝以北，西向伊、洛河上游河谷追击。
5月10日，南京**军事委员会作战部转发第一战区指导大纲。主要内容:“1.第15军及第94师仍固守洛阳。2.第4集团军及第9军(目下集结于洛阳以北之陈凹)应迅速南向宜阳附近增援汤兵团。3.汤兵团以主力固守伊阳(今汝阳)、宜阳，并派一部守洛宁，俟第4集团军到达后，再行转移攻势。4. 刘戡兵团应集结磁涧(洛阳以西约17公里)以南地区，准备侧击由渑池向洛宁或向洛阳前进之敌，并策应第36集团军之作战。5. 第36集团军应以一部酌留河防，抽调主力打击犯渑池之敌。6.第39集团军应速集结主力，阻击南渡之敌，相机转移攻势。7.该战区应先控制伊阳、宜阳、洛宁、嵩县各据点后，再图反攻。8.第一战区司令长官部指挥所可转移洛宁第14集团军总部附近。”
各部队奉命后，乘日军尚未迫近时，于10日进抵指定地区。日军第1军第69师团于5月9日夜从垣曲及其以西一带强渡黄河，担任河防的新8军暂29师及河北民军一部稍战即退，日军于11日攻占英豪、渑池，守军新8军军部亦稍一接触即行南撤，日军在渑池获得了大批粮食、弹械，并切断了陇海路的交通，洛阳守军从此陷于孤立。
1944年5月12日，日军第37师团第225联队击败第12军第81师，接着占领嵩县。汤恩伯兵团各军间的联络被割断。13日，日战车第3师团一部击败刘戡兵团的暂4军，攻占磁涧;第47军亦放弃新安南退，撤向洛宁。日军紧紧追击，14日占宜阳，15日占韩城，17日占洛宁，20日占卢氏。
第一战区的第4集团军、第36集团军、刘戡兵团等部队均退至闵乡附近地区，战区司令长官部移至闵乡东南的官庄。此时汤恩伯兵团早已溃退至伏牛山地区，洛阳陷于完全孤立。防守洛阳的第15军及第94师共7个团的兵力(第64、第65师各2个团，第94师3个团)，分为“城厢”、“邙岭”(城北)、“西工”(城西)3个守备区，第94师担任城厢区守备，第65师担任邙岭区守备，第64师担任西工区守备。
日军在第12军及第1军追击第一战区各部期间，对洛阳采取了封锁措施，第12军在洛阳周围的部队和炮兵等，凡属不参加洛河追击的部队，全部配属给菊兵团，负责执行此项任务。划归菊兵团指挥的有第110师团第163联队第1大队、独立混成第1旅团的步兵第74大队、独立混成第2旅团的步兵第5大队、独立混成第9旅团的步兵第38大队及野战重炮兵第6联队的1个大队。连同菊兵团本身的10个大队，总计14个步兵大队、1个重炮兵大队。