3月23日凌晨，第2集團軍第31師第93旅乜子彬部的先頭部隊開始從臺兒莊一線向嶧縣方向搜索前進。當93旅騎兵連搜索至嶧縣以南8公里處的亂溝附近時，與南下日軍先頭騎兵部隊約300余人、坦克1輛遭遇，從而打響了臺兒莊一線戰斗的第一槍。

當面之敵是由日軍步兵第63團第2營及野炮兵第10團第1營組成的，配屬有坦克、裝甲車、野炮及騎兵隊，共1000余人。就當時中日軍隊的實力對比看，日軍的這支混合部隊，除了人數以外，其無論是在部隊的機動性方面，還是在火力配備上，都超過了中國軍隊一個普通師的水平。

第93旅騎兵連百余官兵都是久經沙場的老兵，他們在隊長王保坤和連長寇保貞率領下，占據有利地形，打退了敵人一次又一次的進攻。日軍見久攻不下，于是調集大炮，對中國軍隊陣地轟擊，守軍全隊官兵抱定與陣地共存亡的決心，爭取盡量滯阻敵人，使后續部隊有充分的時間作好迎敵準備。手榴彈使用殆盡，仍然頑強堅守陣地，不肯退卻。最后，在敵人的輪番攻擊下，陣地終于失陷，全隊官兵傷亡過半，被迫后撤。

31師北上搜索分隊與敵南下進攻之旅在路途中遭遇，在敵強我弱的情勢下，中國軍隊以頑強的斗志，較小的代價，滯阻日軍于臺兒莊外，初步打破了日軍急于南下，抵達運河一線的計劃。

根據敵情，池峰城于當日晚對各部隊的任務作了部署：騎兵仍活動于潘家庵附近地區，監視嶧縣敵人行動；第93旅以一部置于南洛、孫莊各據點，主力置于板橋；第186團仍任臺兒莊之守備，速構筑防御工事；第92旅以一部進駐臺兒莊北站附近，并迅速加強該地工事。

同日，第5戰區司令官李宗仁得到第31師與日軍遭遇，日軍已進至北洛的戰報后，當即給第2集團軍孫連仲下達命令：孫總司令即赴臺兒莊指揮；駐賈汪(距臺兒莊西南30公里處)之27師星夜徒步向臺兒莊附近集結。

孫連仲受命后，即率第2集團軍司令部于24日晨4時抵達臺兒莊運河以南5公里處的韓家寺，親臨調度指揮。并急令第27師速開至臺兒莊附近地區。

第27師是孫連仲的基干部隊，孫連仲曾任該師師長。由于是孫的“嫡系”，因此經孫連仲爭取列為國民黨軍隊“調整師”編制，其裝備、軍械雖不如蔣介石嫡系部隊，但較第2集團軍的其他2個師稍為優良。

黃樵松是一個有著民族氣節的愛國軍人。他十分痛恨國民黨軍隊中的那些對日軍作戰時貪生怕死、保存實力的將領，稱他們為“非炎黃子孫，實為中華民族的敗類”。他把滿腔的悲憤化為抗擊日寇的行動，在娘子關戰役中，他身先士卒，率部痛擊日軍，擊斃日軍步兵第70聯隊聯隊長鯉登大佐。娘子關戰斗后，黃樵松接替馮安邦任第27師師長。

當3月24日晨4時，黃樵松接到孫連仲命其部速開臺兒莊的命令后，晨5時，黃樵松即率第27師從賈汪附近地區出動，3個梯隊徒步向臺兒莊前進。下午6時，部隊抵達臺兒莊南站附近。

日軍占領獐山后，十多架飛機飛臨臺兒莊上空，對臺兒莊及附近炮陣地濫施轟炸。每架98式轟炸機上，都裝載著300～450公斤炸彈。頃刻之間，臺兒莊被硝煙烈火籠罩?？耧L暴雨般的炮彈，把臺兒莊外圍陣地工事基本摧毀，敵人步步逼近，向北洛猛攻。185團王郁彬團長督率高鴻立營奮勇抵抗。在優勢敵軍的攻擊下，且戰且退，于夜幕降臨時退至南洛，傍晚，日軍追擊185團到南洛，被伏兵所阻。敵趁勢占領了北洛，與中國守軍相對峙。

3月24日凌晨4時，孫連仲總司令到達臺兒莊，把集團軍指揮部再次前移到運河南岸的韓家寺指揮作戰。中午，磯谷師團瀨谷支隊主力逼近臺兒莊，向守軍猛烈開炮。同時，日軍還調動了飛機對臺兒莊反復轟炸。湯恩伯送來的重炮營業不顧敵人的炮兵壓制，頻頻向敵還擊。敵人開炮兩個多小時后，步兵在坦克的掩護下，向臺兒莊沖鋒。敵坦克十分兇猛，守軍無平射炮，又無坦克，無法反擊，全憑血肉之軀與坦克搏斗，至死不退。守軍笫31師依托城墻，憑借將士們一腔熱血和血肉身軀，將日軍迭次攻擊均予擊退。當日傍晚，日軍曾突破臺兒莊城墻東北角，又被守軍186團利用密集的手榴彈和大刀隊近身拼殺，殲滅200余人，才被驅逐出去。

這一天，一早就接到了臺兒莊地區戰事打響的消息的中國最高領袖蔣委員長，深知這場作戰的重要性，親自率領軍令部長徐永昌等人到徐州視察戰局，并且設法調動所有能夠動用的部隊，前往徐州的第5戰區增援，準備給予孤軍深入的日軍重大的一擊，不惜花大的血本，非要打敗這股不可一世的驕兵，以為幾個月來在前線陣亡殉國的數十萬國軍將士出一口惡氣。

24日晚12時，白崇禧在孫連仲的陪同下，親臨臺兒莊前線視察。他們先來到韓家寺第2集團軍司令部，聽取孫連仲的匯報，然后又來到臺兒莊南站第31師師部了解戰況。

“白總長，孫總司令，鬼子的炮火實在是太厲害了，簡直就是鋪天蓋地地向我們師的陣地上面打過來。不少將士在戰壕里就被敵人的炮彈打傷了，失去戰斗能力。我們師只有步槍機槍和迫擊炮，火力和敵人相比實在不是一個檔次，差得太多了。而且，敵人還出動了坦克掩護步兵進攻。坦克這個東西，我們拿它幾乎沒有什么辦法，機槍子彈打上去根本沒有任何效果。我們只有用人帶著成捆的手榴彈，和鬼子坦克同歸于盡。只是這樣對我們的損失，實在是太大了。我估計照這個樣子下去，我們師實在撐不了幾天了?！钡?1師師長池峰城向白崇禧和孫連仲倒著苦水，一邊說，一邊還不時地咳嗽著。

“沒有重火力，我來想辦法。我只要你能保證你的部隊，死死的守在臺兒莊，把鬼子拖住，絕對不能把臺兒莊讓給日本人?！卑壮珈虺胤宄钦f著。

“給我接新編十四師的電話。我是白崇禧。”對池峰城說完以后，白崇禧轉身拿起了電話。

“是新編十四師嗎？我是白崇禧，叫你們師長接電話。”

“白總長，有什么吩咐？”劉建業這個時候也沒有睡覺，雖然戰火暫時還沒有波及自己的部隊，但是，他仍然隨時關注著局勢的發展。