1939年3月高安告急，张灵甫率部驰援，亲赴前线督战，右膝中弹骨折，然犹毫不为意，直到主力到达才离队到桂林养伤。1940年升为七十四军五十八师副师长。1941年3月上高会战，张灵甫代理师长率部参战，获得上高大捷，张部居功甚多，同年张升为五十八师师长率部入桂。
1943年张率部先后参加鄂西会战、常德会战，1944年又参加常稀会战，在宁都与日军血战3昼夜，大有收获，8月初进军稀阳、迭克鸡窝山、金兰寺等地，获忠勤勋章和美国全金自由勋章，并晋升七十四军少将副军长。在对日作战中，张灵甫确实卖力指挥，打仗也真用脑筋，很得上司器重。在七十四军队伍中，他凭着有点文化、有点聪明加上苦心钻营，亲身力战，先后担任副师长、师长、副军长等职。
1944年下半年，张灵甫被选拔到陆大将官班受训。而此时，他作为少将副军长，本来只能进乙班，经申报蒋介石批准，进入甲班，成为该班唯一的少将级军官。这对于那些梦寐以求向上爬的国民党军人来说，不啻是一个晋升的中转站，能站在这个路口，前景自然看好。果然，毕业后不久，张灵甫回到七十四军，即升任军长。一个原本是念私塾的后生现在摇身一变，似脱胎换骨一般成为一个心骄气盛的国民党主力军的军长。1946年4月张灵甫以七十四军军长之身兼首都警备司令之职，成为戍守南京之干将，深得中枢倚重，一时炙手可热，权倾天下。