8月1日，日军围攻衡阳的兵力增加到20万人，守城官兵所余不过三四千人。日军在飞机配合下，对衡阳发动第三次总攻击。第一天，方先觉致电蒋介石说：“本军固守衡阳，已经月余。一、衡阳房舍被焚被炸，物资尽毁;二、官兵伤亡惨重，东抽西调，捉襟见肘，弹药缺乏，飞补有限。自今辰起，敌人猛攻不已，其惨烈之战斗，又在重演，危机隐伏。”电报还说：“我官忠勇用兵，前赴后继”，“其中可歌可泣之事实，与悲壮之牺牲，人人不敢回忆”;军长方先觉自己一再表示，“一定死守”，“一死为国”。

8月2日，蒋介石给方先觉复电：“此次衡阳得失，实为国家存亡所关……余必令各军掩护，严督猛进也。”8月3日，蒋介石向衡阳外围援军下令：“着第六十二军不顾一切牺牲，再迅速奋勇前进，如达到衡阳解围，官升级，兵有偿。”但直到衡阳最后沦陷，援军仍被敌重兵阻隔于城外。8月7日，蒋介石得方先觉电告：“敌人今晨由城北突入以后，即在城内展开巷战。我官兵伤亡殆尽，刻再也无兵可资堵击。”

“此电恐为最后一电，来生再见……”至8月8日，日军进占衡阳。蒋介石在日记中悲痛地写道：“以衡阳会战守军苦斗至此历时四十七昼夜，故于凌晨四时即起默祷能转危为安。至五时犹得衡阳电讯，距十五分钟之后中断，自此即绝不复通矣!旋于十时许接获空军侦察报告：'衡阳城内已不见人迹。'于是乃确知衡阳已陷矣。因自记所感曰：'悲痛之切实为从来所未有也。'”衡阳保卫战之激烈持久为抗战以来所未有，日军伤亡19380人，守军伤亡15000人。

中国军人的精神，震惊日本天皇，连日军对此也不得不表示敬意，而将此役比作日俄战争中日军攻取俄军旅顺口要塞的缩影。8月20日，蒋介石电令全国军队于上午6时各在军旗前默哀3分钟，为衡阳殉国守军敬悼，表彰守军精神“足重我民族存仁取义，千秋万世之光辉”。8月25日，蒋介石批准对因防守不力致使湖南长沙于6月18日沦陷的第四军军长张得能判处死刑。第十军军长方先觉在给蒋介石打完最后一次电报后，即举起手枪自决，被身边副官将手枪打落。

8月8日，日军派人前往谈判停战，方先觉提出两个条件：一、中方不是投降，二、日方得医治中方伤兵。日方同意，于是罢兵，方先觉等乃沦为战俘。三个星期后，方先觉脱逃，经由湖南芷江回到重庆。蒋介石一见，像看到自己的孩子回到身边一样，非常高兴地说：“你回来了!好!好!我每天都在为你祈祷……”谈话后，还留下共进午餐。蒋介石指令青年军的军事长官陈诚、罗卓英将应征青年先后共编成9个师，每个师约15000人。第201师驻四川璧山，师长戴之奇，蒋纬国在该师任副营长。

第202师驻四川綦江，师长罗泽闿;第203师驻四川泸州，师长钟彬;第204师驻四川万县，师长覃异之;第205师驻贵州扎佐，师长刘安琪;第206师驻陕西汉中，师长杨彬，后改为萧劲;第207师在云南昆明，师长原为方先觉，但因方在衡阳保卫战失败后为日军所俘，被看成投降，官兵颇有微词，蒋介石只得改为罗又伦。第208师在江西黎川，师长黄珍吾，后改吴啸业;第209师驻福建上杭，师长温鸣剑。

207师师长方先觉被撤换对他的刺激很大，他明白自己所钟爱的军事生命在衡阳恶战中便已牺牲。难怪他后来会不无伤感地对人说起：“我一生中最大的遗憾，是那次在举枪自决时没有把自己打死。”连蒋介石也为他的不幸感到委屈和遗憾，所以在某次国民参政会上，有参政员故意询问：“在衡阳保卫战中，方先觉算不算投降?”蒋介石闻言大怒，却又不愿对此作出任何解释。方先觉的悲剧不为国人所理解，倒是当年作为敌国的日本人民，竟在方去世后到他的墓地去敬献花圈，为的又不是他“投降”了日本，反倒是他敢以几千人的疲惫之师与20万围城日军拼死恶战到底的精神。

当然这些都是后话。总之，蒋介石对方先觉的精神是十分看重的，但囿于国人和他自己强调的“成仁取义”的观念，他的内心也是很矛盾的。由此也可以看出，蒋介石是一心想把青年军打造成像方先觉所部那样在第三次长沙大会战中打出了名、在衡阳保卫战中更令日本天皇也为之震惊的铁军，而且要大过十倍。他相信，有了这样一个十倍于方先觉所部的钢铁之师，日寇再怎样的猖狂，也难逃迅速失败的厄运。

因为青年军士兵大都是高中以上学历的知识青年，长官水平稍低便不能使士兵信服，所以在编练之初，蒋介石便指示，要精选干部。军事委员会一方面成立了干部训练团及东南分团，用以训练青年军中下级军官;同时又成立了青年军干部研究班，用以训练团以上的军官。

而团以上军官的确定，均由罗卓英在蒋介石的嫡系部队，特别是陈诚、胡宗南的部队中挑选，报请蒋介石亲自召见审查，然后派赴各师任用。为了真正造就方先觉所部那样敢于拼死杀敌的铁军，蒋介石要求，一般部队中的中级以上军官到青年军中均降级使用，如一般部队是少将师长、上校团长，而在青年军中则是中将师长、少将团长。