日军方面虽然下达进攻洛阳的命令，但第12军对此有不同的见解，认为当前主要的任务应该是追击刚被击溃的汤恩伯部和第31集团军，在它们整顿以前予以击歼，进攻洛阳及其周围的蒋鼎文部应视为次要任务，遂不按方面军的命令进围洛阳，仅以独立步兵第9旅团、第110师团及战车第3师团各一部对洛阳保持监视，而以主力分沿黄河南岸，朝颍阳至新安、龙门街至嵩县和宜阳方向追击前进，另以第62、第37师团分别尾追撤退的各守军部队，在临汝以北，西向伊、洛河上游河谷追击。

5月10日，南京**军事委员会作战部转发第一战区指导大纲。主要内容:“1.第15军及第94师仍固守洛阳。2.第4集团军及第9军(目下集结于洛阳以北之陈凹)应迅速南向宜阳附近增援汤兵团。3.汤兵团以主力固守伊阳(今汝阳)、宜阳，并派一部守洛宁，俟第4集团军到达后，再行转移攻势。4. 刘戡兵团应集结磁涧(洛阳以西约17公里)以南地区，准备侧击由渑池向洛宁或向洛阳前进之敌，并策应第36集团军之作战。5. 第36集团军应以一部酌留河防，抽调主力打击犯渑池之敌。6.第39集团军应速集结主力，阻击南渡之敌，相机转移攻势。7.该战区应先控制伊阳、宜阳、洛宁、嵩县各据点后，再图反攻。8.第一战区司令长官部指挥所可转移洛宁第14集团军总部附近。”

各部队奉命后，乘日军尚未迫近时，于10日进抵指定地区。日军第1军第69师团于5月9日夜从垣曲及其以西一带强渡黄河，担任河防的新8军暂29师及河北民军一部稍战即退，日军于11日攻占英豪、渑池，守军新8军军部亦稍一接触即行南撤，日军在渑池获得了大批粮食、弹械，并切断了陇海路的交通，洛阳守军从此陷于孤立。

1944年5月12日，日军第37师团第225联队击败第12军第81师，接着占领嵩县。汤恩伯兵团各军间的联络被割断。13日，日战车第3师团一部击败刘戡兵团的暂4军，攻占磁涧;第47军亦放弃新安南退，撤向洛宁。日军紧紧追击，14日占宜阳，15日占韩城，17日占洛宁，20日占卢氏。

第一战区的第4集团军、第36集团军、刘戡兵团等部队均退至闵乡附近地区，战区司令长官部移至闵乡东南的官庄。此时汤恩伯兵团早已溃退至伏牛山地区，洛阳陷于完全孤立。防守洛阳的第15军及第94师共7个团的兵力(第64、第65师各2个团，第94师3个团)，分为“城厢”、“邙岭”(城北)、“西工”(城西)3个守备区，第94师担任城厢区守备，第65师担任邙岭区守备，第64师担任西工区守备。

日军在第12军及第1军追击第一战区各部期间，对洛阳采取了封锁措施，第12军在洛阳周围的部队和炮兵等，凡属不参加洛河追击的部队，全部配属给菊兵团，负责执行此项任务。划归菊兵团指挥的有第110师团第163联队第1大队、独立混成第1旅团的步兵第74大队、独立混成第2旅团的步兵第5大队、独立混成第9旅团的步兵第38大队及野战重炮兵第6联队的1个大队。连同菊兵团本身的10个大队，总计14个步兵大队、1个重炮兵大队。