1937年，张灵甫随王耀武的五十一师

开赴上海，参加淞沪保卫战。作为三O五团团长，张灵甫很快以他的果敢、勇猛赢得士兵的尊敬。嘉定作战中，面对日寇的疯狂冲锋，张灵甫光着膀子一跃而起，抱着机枪冲向敌阵。在他的感召下，部下奋勇杀敌，日寇死伤大半，一时间，张灵甫名声鹊起。

淞沪战后，张灵甫率领305团参加南京保卫战。日军集中主力猛攻南京紫金山和雨花台，雨花台左侧的水西门、华严村、毛官渡更是敌必夺之地。守在华严村的张灵甫部誓死不退，与日18师团血战竟日。后雨花台阵地失守，日军居高临下向张灵甫部猛扑过来，情势万分危急，但张灵甫部仍坚守阵地，直到接王耀武命令，才率部突围，乘木排渡长江。因作战有功，张灵甫被提升为153旅副旅长兼305团团长。

1939年3月南昌会战，张灵甫右腿中炮弹受重伤。军医检查后认为腿要锯掉才能救命，张灵甫听后告诉副官，如果他昏迷了，定要阻止医生锯腿，因为腿锯了就没法再上战场了。后他再度投入战斗，在上高会战中，腿部再度被炸断，蒋介石派飞机将他送往香港，请英国外科专家为他诊治。术后不久，他又提前归队参战，从此腿留残疾，人称“跛腿将军”。

有别于当时国军内一些军官保存实力、拥兵自固的做法，张灵甫对军内的妒忌、倾轧极为痛心，说“以恨心仇胜己之友，以仁心媚杀己之敌，天下柠愚，莫为此甚”，因此，自从军起，他便与军中将佐相处融洽，在配合作战中，也能为友军倾力付出。1937年在徐州会战中，他与三零二团共同在三义砦阻击土肥原师团，该团团长纪鸿儒阵亡，张灵甫抚尸大恸，誓死为之报仇，令全团同仇敌忾，士气大振，最终重挫土肥原部。

让他名扬四海的战役是1938年10月的德安大捷(又名万家岭大捷)。当时，日军106师团突入国军留出的一个口子。为了全歼顽敌，就必须拿下已被敌军先行占领的高地——张古山。讨论作战方案的时候，众将领认为张古山险峻非常，易守难攻。只有张灵甫认为可以借取魏国大将邓艾出其不意，暗渡阴平的办法，以奇兵制胜。张灵甫自告奋勇，带领一支突击队前往攻山，他效法邓艾，只走偏僻的小路，通过正面部队的佯攻，结果全歼山上日寇，一举拿下张古山。

其后，日军为夺回阵地，在飞机配合下，不惜代价又夺回了张古山。张灵甫当夜趁天黑又夺回了阵地。如此反复拉锯，双方鏖战五日五夜，日军遗尸四千多具。由于张古山的胜利，最终使日寇106师团被全歼，一举收复九江以南失地，成为著名的抗战三大捷之一。该战张灵甫身中7块弹片不下火线，人称悍将。

当时，田汉受时任国民党军事委员会政治部第三厅厅长郭沫若的委派，专门采访张灵甫等人，还编写了话剧《德安大捷》，以真名真姓在剧中出现，张灵甫从此名震天下。

张灵甫为人豪侠好义，在战场上骁勇善战，在乡里恭谨有礼。抗战时期，一个叫刘狮的画家流落重庆，身无分文，一次在街上偶遇张灵甫，他与张只在云南见过一面，并无深交。看到刘如此狼狈，张灵甫设法帮他开了一个画展，以解燃眉。此后，两人成莫逆之交，数十年

来，刘狮无论去哪里，都珍藏着张灵甫的两封信。1942年张灵甫率部前往公安，途中忽接一朋友来信，称生计窘迫，张灵甫赶忙凑钱，并派左右急速送往这位故旧家中。

作为一名将领，张灵甫深知“师克在和不在众”，平时爱兵如子，每每自己得到奖赏，也都全部分给属下。他的老部下胡立文曾这样写道：“旅长在打仗军训时，是令官兵敬畏的将军，平时则是一位崇尚文化，慈爱有加的父母官，旅司令部驻长沙小晏门外，练兵之余，旅长有时也去各办公室看看，我当时任旅部办公室的文书，虽已17岁，但个子矮小，还像个孩子，一次，张旅长(来办公室)用手摸摸我的头，鼓励我好好工作，使我倍感亲切……”

作战间隙，张灵甫“平居好吟咏诗词，岳武穆之《满江红》、文文山之《正气歌》，辛稼轩陆放翁豪放篇什，尤激扬朗诵无虚夕，且恭书《正气歌》全文分赠袍泽。”除了酷爱书法，他还喜欢赏花、骑马。一次一匹马患肺炎，奄奄待毙，张灵甫抚之潸然。“马亦涕泪涔涔下”。