临沂是山东省南部重镇，距台儿庄90公里，是徐州东北的屏障，如果临沂保不住，日军则可以从青岛长驱直到台儿庄、徐州，威胁陇海，津浦两条铁路的安全。1938年2月，日军进攻莒县，临沂吃紧。第五战区司令长官李宗仁急电驻守海州的第四十军庞炳勋部进驻临沂。这支部队对蒋介石政府来讲是属“杂牌部队”。

自1937年10月在沧县抗击日军后，奉命调至东海、连云港等地，一面整训，一面对连云港至盐城一带沿海设防，经过3个多月的整训，人员及武器大体上得到了补充。编入第五战区序列之初，庞炳勋来徐州拜见李宗仁。李宗仁对庞炳勋以优礼相待，并推心置腹地对庞炳勋说：“我们在内战中搅了20多年，虽然时势逼人，我们都是被逼在这漩涡中打转，仔细回想那种生活太没意义了，黑白不明，是非不分，败虽不足耻，胜亦不足武。现在真是天如人愿，让我们这些人这辈子有个抗日救国的机会，今后如能为国家民族而战死沙场，才是真正死得其所。”庞炳勋听了李宗仁一席话很感动，他说：“长官德威两重，我们当部属的，能在您的领导下为国效力，天日在上，万死不辞，对于抗日我决不保存实力，一定同敌人拼到底。”

当李宗仁听说第四十军正奉国民政府中央令准备缩编时，为他们向中央反映，使中央收回了缩编第四十军的命令，又对这支部队给予了物品和武器装备的补充。然后，第四十军赴海州接防。这次临沂吃紧，庞炳勋接到李宗仁电令后立即命令部队快速集结开赴临沂。1938年2月中旬，部队集结完毕。当时第四十军拥有1个师即三十九师（辖第一一五、第一一六两个步兵旅），1个直属特务营，1个补充团及炮兵、工兵、通信各1个营，1个骑兵连，1个手枪连。庞部到达临沂后，立即派人查看临沂周围地形，并召集营长以上指挥官及各级参谋联席会议，研究敌情及攻守方法，具体部署为：军部及第三十九师师部同驻临沂南关的山东省立第三乡村师范学校，第一一五旅驻城东相公庄一带，第一一六旅驻城北诸葛城一带，补充团驻城关，炮兵工兵等营及直属特务营驻南关。

庞炳勋命令部队在沂河以东、台潍公路东面的桃园、三官庙、郁九曲、于埠一线构筑工事，挖壕破路，筑起坚实的防线。在沂水、诸城、莒县一带，日军2000多人步炮联队与中国军队激战，由于日军人数众多，装备优良，中国军队逐渐感到力不从心，敌人大有乘势逼近临沂的劲头，正在这个时候，赶来支援的第四十军接到李宗仁的命令，庞炳勋急忙派第一一五旅旅长朱家麟率所部第二二九、二三○两个团，增援莒县，随即第二二九团为右翼，第二三○团为左翼，向莒县前进。

2月26日，右翼第二二九团到达莒县并占领了城内阵地。左翼第二三○团也同时到达莒县城西一带村镇，与城内部队形成了遥相呼应之势。

2月27日拂晓，日军出动1000余人的兵力，在猛烈炮火的掩护下，突然将莒县城西、北两面包围，并向中国军队发动猛烈的进攻。中国军队奋起反击，在炮火的支援下，将进城的日军击退。

2月28日，日军又从城东北角偷袭莒县城，并逐渐向西南方向延伸，中国守兵寡不敌众，损失惨重。2月底日军占领莒县，很快由莒县西南夏庄、黄庄向第四十军的临沂汤头逼近。

3月3日，日军与第四十军第一一六旅第二三二团接火，日军每日出动大批飞机向中国军队进行轰炸，步兵在坦克、排炮的掩护下发动攻击，中国军队英勇抵抗，不怕牺牲，激烈的战斗持续五、六天，后终因伤亡过重而撤出了汤头阵地。汤头撤守，太平、白塔两地吃紧。军部命令第一一六旅第二三一团坚守，拖住日军主力，另由垛庄调回补充团由葛沟以北抄袭日军右侧，由相公庄抽调第一一五旅第二二九团沿沭河东岸抄袭敌人左侧。当第二二九团第二营前进至铜佛宫庄时，与日军相遇而展开激战，日军见其左右被围、被迫放弃太平、白塔一带的村庄，撤回汤头镇。

3月4日，第四十军主阵地改守为桃园、蒋庄之线，补充团第二连在前沿阵地葛沟阻击日军，掩护主力部队和友军集结。补充团团长李振清对二连下达命令时说：“临沂、葛沟这次战役胜负至为重要，一定要有与阵地共存亡的决心，不惜牺牲，歼灭日军！”二连官兵齐声表示：“宁愿战死沙场、决不当亡国奴。”随即在台儿庄至淮县公路附近和村庄的四周堆集了沙袋，借助土堆院墙，筑好防御工事，准备抗击日军。

3月9日，日军步兵、骑兵和炮兵3万余人，向二连阵地发起猛烈攻击。二连仅装配有6挺轻机枪，士兵用枪是汉阳造步枪和老套筒枪；每个士兵都配有一把大砍刀，面对日军的进攻，二连官兵沉着应战，打退了日军一次次进攻。日军几次进攻失败。敌机便轮番来向中国阵地上投下了一颗颗炸弹，二连官兵用步枪，机枪朝着低空飞行的日军飞机射击，赶跑了敌机。敌机飞走了，日军的大炮又响了，大炮持续的轰击，使中国阵地上瓦砾、泥沙、石块漫天飞舞，大树被掀倒，房屋、麦垛等着了火，二连官兵不断伤亡。日军炮火过后，骑兵向二连阵外杀来。连长大声命令道：“瞄准马头打！”随着二连官兵的枪响，日军骑兵纷纷落马，夺路逃走。

3月11日，日军逼近临沂正面诸葛城至郁九曲之线，飞机每日轮番轰炸，大炮不断地轰击，中国军队阵地大部分被日军炮火摧毁，官兵伤亡很多，日军步兵在坦克掩护下向中国军队猛冲而来，中国守军仅凭手榴弹阻击日军，炸毁了日军多辆坦克，日军虽经日夜反复冲杀，在付出了很大伤亡后，竟不能越雷池一步。中国守军第四十军的据城死守，一直被称为最优秀的“皇军”竟然在中国的这支“杂牌军”面前寸步难行，使日本号称强大的板垣师团丢尽了脸面。日军更加强了攻势，中国守军连续奋斗，惭感不支，庞炳勋急电请援。此时，正在鲁南、徐州附近集结待命的第五十九军，是抗日民族英雄、爱国将领张自忠领导的部队，有第三十八、第一八○两个师。

早在3月3日，他们就接到了主力向济宁、兖州之敌进攻的命令，部队迅速开动。急行军途中，张自忠又接到驰援临沂庞炳勋第四十军的命令。第五十九军将士立即乘火车南下峄县，然后在一昼夜内以90公里急行军速度于3月12前到达临沂城西郊。

三月十二日，日军又向临沂大举进攻，第四十军将士奋勇抵抗，激战进行到当日下午，阵地上传来振奋人心的消息：第五十九军军长张自忠率部来到临沂增援。一时间阵地上欢呼声振天，士气大增，敌我形势转变。张自忠率部到达第四十军军部时，天色已晚。夜幕降临后，战斗不仅没有停止，反而更加激烈了。日军炮弹不断从头顶上飞过，带着刺耳的尖叫。

庞炳勋见张自忠来到军部，先是一惊，连忙出门迎接，他紧紧地握着张自忠的手，不迭地说：“来得正好！来得正好！……。”2人进屋坐定，庞炳勋对张自忠开着玩笑说：“老弟呀，人家说你要在北平当汉奸，我才不信呢。”原来，“七·七”事变前，张自忠原为宋哲元第二十九军中的师长兼任天津市长，日本一意使华北特殊化，张自忠与日军周旋，忍辱负重，外界不明真相，误以为张自忠是卖国求荣的汉奸。“七·七”事变后，张自忠仍在华北与日军交涉，当时舆论界指责张自忠是“国人皆曰可杀的汉奸”。张自忠到南京有口难辩，在李宗仁的帮助下，张自忠得以回到自己的部队，重新带兵。庞炳勋、张自忠原来都是冯玉祥的部下，彼此亲如兄弟。蒋介石、冯玉祥和阎锡山中原大战时，庞炳勋受人收买倒戈反冯，出其不意地袭击了张自忠师部，张自忠险遭不测，庞、张存下介蒂。张自忠曾表示：除庞炳勋所在战场外，其他战场皆愿以死报国。这次临沂之战，庞炳勋受困请援，第五战区除第五十九军可以调动外，无兵可援，李宗仁知道庞、张之间的矛盾，临行前把张自忠找来，诚恳地对张自忠说：“我知你和庞炳勋有宿怨，那是以前内战造成的，不论谁是谁非，皆为不名誉的私怨私仇，现在，庞炳勋部在前方浴血奋战，是雪国耻、报国仇之举，希望你以国家、民族为重，捐弃个人前嫌，率所部支援临沂作战，并要接受庞军团长的指挥。”张自忠听到这里，爽快地回答道“坚决服从命令。”

张自忠听庞炳勋这么说，大笑道：“今天倒要让他们看看我张自忠是不是汉奸。”在第四十军军部，庞、张两军高级将领召开了军事会议。在研究攻击开始时间时，张自忠首先发言道：“在一般情况下，我第五十九军以90里急行军到此，非常疲劳，宜稍作休息后再与日军作战，但兵贵神速和出敌不意，而且我们是以劣势装备来对付现代化装备的敌人，必须利用夜战近战，方能取得胜利。”

经过研究决定：第五十九军于3月14日晨以迅雷不及掩耳之势，强渡沂河，一举插入到板垣师团右侧背，在亭子头、大太平、申家太平、徐家太平、沙岭子等处突破日军防线。张自忠回到第五十九军军部，立即召集所部第三十八、第一八○两师营长以上军官会议，他望着有些疲倦而又显精神的部下说：“庞炳勋军自穆陵关战斗以来，与日军拼搏消耗很大，现在只有一个完整旅守城，其余各部战斗力很弱，而我们面前之敌板垣师团，却是日本陆军的精锐部队，自侵华以来，先后侵犯了我国察哈尔、绥远两省，占领过太原，在平型关战役中被我郝梦龄军和第十八集团军（八路军）消灭了一部分，但他们的损失不算大，现在板垣部已部署在临沂城北至汤头一线，兵力有万人之众，日军自恃装备精良，有飞机、大炮、坦克作掩护，而显得很骄横。”张自忠顿了顿，继续说：“日军妄想从这里长驱直入到台儿庄、徐州，与矶谷师团完成合击我国军队的任务。

我军在喜峰口、北平、天津等地，已和日军交战多次，取得了一些经验，面对强大的敌人，我军官兵要大胆、谨慎，要敢于藐视敌人，在战斗中要充分发挥我军善于近战、夜战的长处，集中使用轻、重武器，我们要碰一碰这个骄横不可一世的板垣，打打他的锐气，为中国军队争光，为中华民族争光，我们是军人，军人战死疆场，虽死犹荣。”张自忠作了战前动员，然后下达了作战部署：第三十八师黄维钢部为军的左纵队，于13日16时出发，沿角沂庄、曲坊，白沙埠、朱潘到余粮村小安子等地，师部设在小安子，该师以两个旅为攻击队，留一个旅为预备队，在刘家湖附近待命。

第三十八师的攻击目标是左起汤坊涯、白塔至沙岭子一线日军，于14日晨强渡沂河，向当面之敌攻击；第一八○师刘振三部为军的右纵队，于13日下午4时出发，经宋王庄、北十里堡、谢家宅到达邵双湖集结，师部设在邵双湖，于14日晨强渡沂河向亭子头之敌猛攻。

3月14日，天阴沉沉的，不久就下起了毛毛细雨。3月天气，乍暖还寒，小雨的到来更增加了几丝寒意，在这种天气下，按照预先部署，两师受命后，全部官兵准时强渡了百余米宽、水深到膝、冰凉刺骨的沂河。第五十九军向汤坊涯、亭子头、郭家太平的日军发动了奇袭，日军乱成一团仓促应战，集中兵力对付张自忠的部队，与此同时，庞炳勋第四十军的防守部队也乘机反攻，日军腹背受敌，飞机、大炮、坦克均失去作用，而节节败退。

战斗进行到15日，第五十九军先后将被日军占领的徐家太平，郭家太平，大太平等六、七个村庄收复，并立即构筑工事，经过一昼夜的激战，两师官兵损失很大。第一八○师伤亡团副以下至排长的军官三、四十人，士兵近千名，第三十八师伤亡五、六百人。日军也付出了更大的代价，于是板垣又增调一个旅团援军进行反扑。

15日午夜，日军从沙岭子北中国守军两个旅阵地接合部偷渡过了沂河，占领了毛官庄对面河西渡口后，先派出十几架飞机到中国军队的崖头、刘家湖、苗家庄、钓鱼台一线进行狂轰乱炸。

16日，日军又集中三、四千人的兵力，在几十门大炮的配合下，向中国守军的茶叶山、船流、钓鱼台、郝沂宅子进行攻击，第三十八师将士沉着应战，战斗非常激烈，将来犯之敌打退。于此同时，日军组织兵力突袭进入中国军队的船流、苗家庄、刘家湖一带，与在刘家湖作为预备队而集结待命的第三十八师一一四旅董升堂部队发生激战。突如其来的日军打乱了张自忠军长的预定方案。

张自忠接到报告，随机应变，急忙部署：命令第三十八师的一个团固守茶叶山、郝沂宅子等地，阻击河东进犯之敌，并强调要不惜任何牺牲，坚守茶叶山阵地，作为我军的支撑点；第三十八师除一一四旅在刘家湖一带与日军继续战斗外，河东部队则全部撤回到茶叶山附近，以加强这里的防御力量；第一八○师所占沂河东岸的各个阵地，全部放弃，将兵力撤回河西。

16日黄昏，第一一四旅第二二八团在刘家湖村外与日军进行了1天激战后，日军占领了村子的东半部，中国军队退守到村子的西半部，村子中央1个水深1米、方圆数亩的大水塘成为分界线，双方在水塘两边互相射击，相持不下。此时，第一一四旅又将所部第二二七团投入战斗，双方仍相持不下，阵地夺来夺去；而在水塘边，双方都倒下了几百具尸体。但阵地仍被中国军队坚守着，日军未能再得一点好处。激烈的战斗，阻击了日军的进攻，同时，中国军队也付出了沉重的代价。第五十九军自投入临沂战役以来，第三十八师伤亡近4000人，第一八○师伤亡近2000人，全军在第一线作战部队中，营长伤亡1/3，连、排长全部牺牲而易人，从临沂至新安镇一线公路上，老百姓运送第五十九军伤兵的担架，日夜兼程，络绎不绝。

由于第五十九军伤亡太大，3月16日第五战区参谋长准备给李宗仁发电，请求让第五十九军撤出战斗，进行整补，张自忠得知这一消息后，请求李宗仁允许他们再打一天一夜，李宗仁表示同意。张自忠速召第三十八、第一一○两师师长到军部交待任务，他说：“我军将士作战勇敢，伤亡很大，但敌人也付出了同样的代价，敌我双方都在苦撑，战争的胜负决定于谁能坚持住最后的几分钟。我已经请求李长官，允许我们再打一天一夜，如果不能打退敌人，军部即组织有计划地撤退。你们回去后要到第一线去，把情况向大家讲清。”他又给他们说明了作战部署：3月17日，军师所有的山炮、野炮及迫击炮全部推进到两师第一线，带上所有的炮弹，黄昏前，所有的炮一齐开火，将所有的炮弹全部打完后，各部队规定好夜战暗号后全线出击。猛攻盘踞在凤仪官、刘家湖、苗家庄等村庄的日军。

17日夜，第三十八师首先在炮声过后，冲入日军占据的刘家湖村，日军也凭借强大的炮火向中国军队进行反扑，经过3个小时的拚杀，将日军击退，收复了刘家湖，日军向汤头方面逃去。日军又攻占了茶叶山的一个高地，第三十八师第一一四旅二二八团二营所有官兵在重机枪及炮火掩护下，成纵队突上去，三营也抄击敌人侧背，经过激烈战斗，日军招架不住，向白塔方面退去，中国军队完全占领茶叶山。

第一八○师向苗家庄之敌进攻，在村外遇到了日军的顽强抵抗，双方展开激战，中国守军将士奋勇当先，将日军压迫到村内，顿时，苗家庄村内枪声大作，杀声震天，中国军队和日军为争夺每一个房屋而展开了肉搏战，日军最终仓惶逃命。战斗中，张自忠把军部交给副军长指挥，自己亲临第一线指挥，监督作战。这次战役，第五十九军将进犯临沂方面的日军3个联队完全击溃，残敌大部分向莒县方向逃去，中国军队乘胜追击至董官庄、白塔、汤头一带布防，与汤头以北的日军形成对峙状态。

18日晚，第五十九军奉命除留第一一四旅归第四十军指挥并协助守城外，其余向费县、沈村一带进军，以威胁矶谷师团左侧。

汤头以北的日军很快得知第五十九军开赴费县的消息，在得到增援之后，又向临沂进逼。

3月23日下午，日军的飞机、大炮一齐向临沂城东的埠前店、三官庙一线进攻，中国军队第四十军英勇抗击，杀死杀伤大量敌人，第四十军也伤亡严重，不得不将学生队、军属特务营用于第一线作战，但在日军的强大炮火攻击下仍然感到吃力，庞炳勋军长再次呼援，此时已转进到费县沈村附近的第五十九军接到求援电令，星夜回援临沂。3月25月，第五十九军到达了临沂西北地区，这时，日军已相继占领了临沂城北刘家湖、邵双湖等村。日军除了在河东、桃园、三官庙向中国守军进攻外，还派出主力部队由临沂城北南曲坊、朱邬向毛家庄、西北园进逼。

第五十九军先头部队第一八○师在25日下午临沂城北毛家庄、北道一带村庄和日军相遇，当即发生激烈战斗，第一八○师官兵不怕牺牲向日军猛烈攻击，消灭了一部分日军，其余的日军向朱邬方向撤退。这样，第一八○师占领了南道、北道、红埠寺、营子、盛庄、古城等村镇，随后赶来的第三十八师也进到北十里堡、西北园、宋家王庄一带与日军展开战斗。第五十九军军部进至杭头、中石埠一带，指挥两师在临沂城西、城北作战，策应第四十军守城。

与日军激战的第三十八师伤亡很大，师里已无预备兵力，黄师长向张自忠请援，张自忠说：“你们要坚决顶住，我们困难，敌人更困难，要坚持最后5分钟，我已命令第一八○师派一个团从诸葛城向敌人左侧猛攻。”黄师长说：“正面队伍里有顶不住的趋势，我这里实在是无人可调了。”张自忠说：“没有人吗？怎么还有人说话？”黄师长碰了一个钉子。张自忠放下电话，立即带领两个营的兵力向第三十八师师部赶去，挫败了日军的攻势。

27日，日军又向中国守军的古城、南沙埠、小岭、北道攻击，战斗进行到第二天，在中国守军奋力反击下，日军不但没有退却，反而又增至千余人，数十门大炮向中国守军阵地打来，顿时，硝烟弥漫，房屋倒塌，守在这里的第一八○师部分守军在血战两昼夜后，全部殉国。

张自忠给李宗仁发报表示：“职一息尚存，决与敌奋战到底。”3月29日，李宗仁派出支援临沂的第五十七军赶到，援军到达，中国守军又重新做了布置，全线出击，日军抵挡一阵后，向北溃退，中国军队乘胜追击。临沂之战，日军板垣师团损兵折将，被阻不能西进，津浦北段敌军，左臂被砍断，日军两路会攻台儿庄计划破产，有力地配合了台儿庄会战。第五十九军军长张自忠因打退了号称铁军的日军板垣师团，而升任第二十七军团军团长兼第五十九军军长。