长沙失守后，军事委员会为保卫衡阳、阻敌深入，于6月20日对第九战区下达了作战命令 。日军通过空中、地面侦察，根据中国军队的集结、调动情况，再结合以往的一贯战法，大致上已判断出军事委员会集中兵力分由东、西两面实施夹击的战役企图，遂令东、西两路日军集结兵力，加强对醴陵、宁乡方面的作战，以掩护中路日军进攻衡阳。
东路日军第13师团于6月20日占领醴陵后，仅以一部兵力继续南下。而以主力向东进攻准备实施夹击的中国军队，在刘公庙附近重创第26军，并迫使第58、第72军向东撤退，于22日占领了萍乡。日军第3师团亦于萍乡以北地区击溃了第58军。军事委员会计划的反击作战已无法实现。
西路日军第40师团于19日攻占宁乡后即全军南下，在湘乡以北击退第73、第74军，于22日攻占湘乡。守军新23师(附第92师1个营)退守石狮江、三枣。
与此同时，中路日军第116师团的第133联队，亦向东进攻，配合第40师团，在湘乡东南的东台山一带击退守军第32师。至此，第40师团即暂停南进，集结兵力准备与由西北南下的第24集团军作战。
中路日军第116师团和第68师团在日军总攻长沙之前，即已于6月13日和16日分别轻易地占领了株洲及清江铺。守军暂2军退守渌水南岸。配属第116师团的第68师团第133联队则西进，占领了湘潭。守军新23师退至涟水以南，转移到东台山一带。
6月19日，第116师团(附第68师团的第57旅团)由株洲附近西渡湘江，分两路各沿湘江西岸及易俗河向衡阳前进;第68师团(欠第57旅团)由石亭附近渡过渌水，击退暂2军后沿湘江东岸向衡阳急进。第68师团于23日即已突抵泉溪市附近，并渡过耒河，击退暂54师的警戒部队。
24日傍晚，以一部西进，进攻五马槽衡阳外围阵地，主力经赤水塘西渡湘江，向衡阳以南迂回。迄27日，日军第116师团进至衡阳城西郊，突破守军第3师阵地，逼抵瓦子坪、虎形山主阵地前;第68师团一部突破五马槽第190师前进阵地和冯家冲主阵地，并攻占了飞机场;主力则突破衡阳城南黄花岭、欧家町预10师的警戒阵地，进至铁路线预10师的主阵地前。
至此，衡阳已处于日军的三面包围之中。衡阳位于湘江中游，系粤汉铁路和湘桂铁路的交会点，是第九战区的重要战略基地之一。该城东端紧临湘水西岸。防守衡阳的部队为第10军，下辖第3师、第190师及预10师。
第190师及暂54师原在湘江以东，日军第68师团独立第64大队攻占湘江东飞机场，将190师及暂54师从中间割断后，第10军为集中兵力、缩短防线，于26日夜将该两师调回湘江西岸衡阳市区。其中第190师是后调师，仅有1个第570团是个完整的团，其余各部均仅有干部;第3师有1个团尚在衡山附近。另外还配属有暂54师(欠2个团)及48师的战防炮营、第46军的1个山炮连和第74军的野炮营。
此时在衡阳的防御部署是:第3师防守衡阳西北部，预10师防守衡阳西郊，第190师防守衡阳南郊，暂54师防守衡阳北郊。
6月27日夜，日军完成了攻城的准备。需要特别说明的是，负责进攻衡阳的日军是其精锐的第11军司令官横山勇，他计划以第68、第116两个师团为主力，在5天以内拿下衡阳，然后向日军大本营以及天皇献上一份大礼。
为此，他已经向上面夸下了海口。那么结果如何呢？6月28日拂晓，日军发起总攻。守军各部队在炮火支援下坚守阵地，并不时予以反击。激战终日，日军毫无进展。第68师团师团长佐久间为人及其参谋长原田贞三郎等被炮击负重伤，由第116师团师团长岩永汪统一指挥两师团。
29日日军仍毫无进展。岩永汪将衡阳以西四塘附近担任侧背警戒的第133联队投入战斗，与炮兵第122联队协同，企图于7月1日进攻城西坚固据点张家山。激战至7月2日，除主攻方向上经多次反复争夺的张家山被日军第133联队攻占外，其他方面的守军均击退日军的多次进攻，守住了阵地。
由于守军的抗击，日军连续猛攻5日，损耗了大量人员和弹药，仅推进了1000米。此次总攻，日军天上有飞机、地上有坦克和战车，以及重炮，甚至还动用了毒气，结果激战5个昼夜，还是被第10军击退。
此战后，横山勇原计划5天内拿下衡阳的誓言，彻底成为了神话。此时赵继统以军务局长（杉山元入主军务省后任命他为军务局长监理俘虏情报部）的身份命令横山勇停止进攻，补充弹药、休整部队战力；并严重警告他如果再不惜兵力的蛮干就撤职查办！
军务局长听着官不小，其实在战斗指挥上还不如他那个参谋本部第二部部长的身份。不过新任参谋总长不象杉山元那么信任他，将自己直属的作战课也交给他，而是收回于自己的统治之下。如果他用情报部部长的身份总感觉有些越权，所以干脆用了军务省的身份。
至于那个俘虏情报部就更了不得了，它原属于法务局，后来宪兵系**立出来之后，也跟着水涨船高起来，笼统的来说就是赵继统一手创建的宪兵特高课的直接管理单位。
宪兵系统在东条英机的刻意扩张之下，已经不再是一个陆军的纠察单位，那时中日战争已经被称为“圣战”，任何妨碍“圣战”的言论和行为都是被监控、审查的对象。
战后一个刚被分配到记者俱乐部的新闻记者回忆称，宪兵无缘无故闯入家中，翻看书架、检查抽屉，对此什么也无法辩说，生怕被抓住一些小事栽赃问罪。