最初這四個當家的都取得不錯的戰績。

但官軍也不是傻子，很快看出了問題，又派暗探又派斥候，終于摸清了山上的情況后，決定也采取誘敵深入的辦法，先派官軍進攻，在進攻不利時佯裝敗退，引得三當家的沙堅貪功求勝，中了官軍的埋伏，打得沙堅大敗而逃。

官軍在得到金華衛的支援下，兵鋒更盛，以步步為營逐步蠶食的辦法，一點點向山上推進。山上的土匪都是烏合之眾，本來就不行，見三當家的大敗而逃，震動極大，就立馬派人找江五當家的回來打仗。

哪知江五當家的帶著手下的嘍啰，鉆進了牛頭大山里面不知所蹤。

史春這時才知道急了，連忙派人去找，但一時哪里找得到呢？六百人撒在這大山里，可以說連鬼都找不出來。

但山下的官軍可不等你啊，借著大勝之機士氣高漲，慢慢的掌握了主動，一步一步的付出了血的代價，終于打上了山來。這三個當家的本來也沒什么本事，以前沒上山前都只是膽大而已，都是在老家殺了人避禍于此，哪有什么過人之長啊。

隨著后來聲勢大了，加入的人多了，就互相不服氣，以致于相互都不團結。

就在沙堅陷入危險包圍之中，其它三人還在扯皮派誰去，等扯清楚了后，沙堅已大敗而回了。這時史春才后悔放江老大休息，但派出去的嘍啰個個回來報告說，江老大幾人云深不知處，不曉得去了哪里，也許是離開了牛頭山。

史大當家的迫于無奈，只得硬著頭皮上，跟官軍的對打。

因指揮不力，嘍啰貪生，很快敗下陣來，就連那些天險都沒能擋住官軍，因為官軍手中有箭，夠不著用箭射。很快官軍就撲了上來，個個神勇無比，個個奮力爭先，就先破了史春的私軍和牛頭峰主寨。

史春也一刀讓金華衛的指揮使一刀砍死。

這兵敗如山倒，其它幾個山寨也難以逃脫覆沒的命運。索強讓官軍抓了，沙堅死了，而樸新下落不明，聽說掉入了山谷之中，尸骨無存。

官軍在山上追剿了一個月，山上能破壞的全破壞了，實在搜不出土匪來后才撤軍走人。這一仗牛頭山土匪根本上全軍敗亡，光抓住的俘虜就三四千人。

江大聽完后默默不語，其它幾人也是感慨起來，都說這牛頭山本來形勢非常好的，發展得也很快，就因幾個當家的不團結、勾心斗角，妒賢忌能，才造成今天的局面，要是這史春能大度一點，能用人不疑的話，這場仗勝負難料。

這已無關大局了。

所以江老大沉默了一會哈哈大笑道：“我們的好日子來了，現在這牛頭山就是我們的了，正是我輩大展鴻圖的大好機會。

現在是八月，正好跟李兄弟分手滿兩年了，看來李兄弟說的不錯，我們的生機就在這里，我們的生存之地也在這里?，F在，這牛頭山再也沒有人指揮我們了，都是我們指揮別人了。各位兄弟，那我們出谷吧，到牛頭山樹我們的漢字旗，打我們的江字號，好好干一番事業出來吧？”

江四這時說：“萬一官軍又來了怎么辦？”

江老大豪氣沖天的說：“我就怕他們不來了，他們也想不到我們一直在這山上好好的。再說他們是沒遇到我們，要是遇到我們，定叫他有來無回。出谷吧，我們去牛頭山大寨里，重建牛頭山?！?

六百人出了石門峽來到大寨前，看到一地狼籍，到處都是火燒的痕跡。所有的房子和其它一些東西都毀了，除了一堆殘磚爛瓦外什么都沒有。江老大不在意，吩咐起嘍啰就重建起來。

江老大命令江四下山打探情況，特別是官府的情況，還有找二個金主出錢出糧才行。十天過去了，江四回來說官軍大勝牛頭山土匪，并押著這些土匪一路游行慶祝回了武義，并把這幾千土匪全殺了頭，一時江浙震動，各地的土匪也消聲匿跡不見了。

但同時很多人在猜測漢字營的土匪怎么不見了，好像平空消失了一樣，不過很多地主惡霸爭想給官府祝賀，出錢出糧，慶祝官軍打了勝仗滅了土匪。

江老大想了想說：“我們目前要低調一點，等官府這陣風過了，軍隊解散入營后我們再打出我們的旗號，現在就是要加強營寨防御。我們先熬過這一段時間，到了十月我們再出山不遲?！?

于是牛頭山的重建開始，不過只修復了一些住處，更多的精力是放在石門峽那里。

一邊訓練一邊經營，整個漢字營也忙得不亦樂乎。到了十月，山上正式打出“官府無道、海波不寧、義勇討伐、永康太平”的漢字軍旗號，并由江老大帶隊攻擊了幾個，特別是與官府關系走得進的兩個地主惡霸。連續幾個晚上，把這兩個地主家幾乎給搬空了。

山上這一下有了糧，有了錢就開始招兵買馬，按在牛背山的規矩挑選嘍啰，先經挑選后再訓練，凡是懦夫廢物一個不要。