解放戰爭進入1947年后，蔣介石鑒于其對解放區的“全面進攻”已經破產，于是轉而進行“重點進攻”，于3月初集中了約45萬人的國民黨軍，企圖在魯中與解放軍決戰。4月14日，國民黨軍整編七十二師進占泰安。這支部隊的前身是川軍部隊，其裝備為美、日混械，下轄三十四旅和新十三、十五旅，共2.8萬人，有豐富的山地作戰經驗。整編七十二師向泰安進犯時，留下新十五旅一部駐守平陰、東阿、肥城等地，進駐泰安的師部、兩個旅及炮兵團一部，共一萬五六千人，另有一個國民黨山東保安團協防。泰安城墻高而堅，背靠泰山，北面有摩天嶺陣地，城西南有能控制全城的重要設防陣地蒿里山，有利于這支川軍發揮出自身特點，憑借地形固守。而近城村落也設有星羅棋布的支撐據點，可謂易守難攻。

針對敵人的部署，解放軍華野首長迅速擬定了攻取泰安的計劃——以部分部隊在臨沂一帶擺開一個與敵決戰的架勢，令一縱、三縱、十縱等部隊組成臨時西兵團，脫離南線正面之敵，經過500里急行軍橫越沂蒙山腹地，兵臨泰安城下，用“攻城打援”的戰術消滅泰安守敵。此次戰斗由華野參謀長陳士榘、政治部主任唐亮負責指揮。十縱于4月22日抵達泰安外圍，一縱、三縱擔任殲滅大汶口可能北上增援之敵的任務。

22日下午4時，十縱各部開始攻擊泰安城外圍的敵人陣地，于當晚基本消滅城外的守敵四個營。城內敵人在飛機、大炮的掩護下，于23日集中兵力向外圍陣地反撲，被解放軍擊退后，只得向城關收縮。

為解除城外敵制高點對攻城部隊的威脅，十縱于23日開始攻擊摩天嶺和嵩里山。鑒于大汶口一帶的敵人不敢來援，陳士榘遂改變原作戰部署，調三縱八師加入攻城戰斗，并命令特種兵縱隊司令陳銳霆攜帶不久前在魯南戰役中繳獲的各種大炮前來支援。

4月24日，攻城部隊進行了部署調整：八師攻打蒿里山和城西關、西門；二十九師主攻城南關和南門；二十八師加強縱隊特務團、魯中一旅二團主攻城東門、摩天嶺和北門。攻城部隊部署調整后的當天夜晚，二十八師攻占了城東關，全殲摩天嶺守敵；二十九師攻占城南關；八師強攻蒿里山，和敵人反復爭奪，在特種兵縱隊的炮火支援下，于25日拂曉攻克敵人陣地，并乘勝攻占了西關，將泰安守敵四面包圍起來。

25日晚8時，華野圍城各部發起總攻。22時左右，二十八師突破城東門，二十九師突破城南大門，與反撲的敵人奮力搏斗，堅守突破口陣地。城外部隊也集中步兵炮、迫擊炮、重機槍射擊城墻上、城內的反撲之敵，掩護突擊隊殺進城中。26日凌晨，西門、南門也相繼被攻克，各路解放軍沖進城內，與敵人展開激烈巷戰。殘敵紛紛向敵師指揮部所在地岱廟撤逃。解放軍攻城部隊乘勝追擊，對敵人工事實施連續爆破，逐一炸毀了密布在城中街道上的“子母堡”，很快沖進岱廟俘虜了里面的敵人，繳獲了4門105口徑美式榴彈炮和16門120口徑化學迫擊炮。26日拂曉，敵十五旅從泰山主峰來援，在城北關外被解放軍打援部隊擊潰。至此，泰安戰役勝利結束。

據統計，此次戰斗解放軍華野部隊全殲守敵，計俘敵師長楊文瑔以下官兵1.1萬余人，斃傷敵3000余人，擊落飛機一架，繳獲汽車40余輛，大小口徑火炮70門，輕重機槍270余挺，長短槍1.8萬余支和大批彈藥物資器材。

戰斗結束后，陳士榘在岱廟后院的一間房子里接見了被俘的楊文瑔。楊文瑔感慨地說：“你們有這么多的大炮，完全出乎我們意料之外。你們炮兵火力組織得這樣好，步兵和炮兵協同這么密切，這更是我們沒想到的。佩服!佩服!”陳士榘笑著回答說：“那就應該早放下武器嘛!”楊文瑔又說，在戰斗中，他曾多次向南京、徐州以及附近的國民黨軍呼救，并報告說共軍用“大家伙”(指一〇五榴彈炮)向他的部隊猛烈轟擊，快頂不住了。他的話不但沒人相信，反而被異口同聲地質問：“土八路”怎么可能有這么多“大家伙”?陳士榘就告訴他：“這些‘大家伙’都是你們在魯南、萊蕪戰役中‘送給’我們‘土八路’的。”