張直被處死後，不但陽翟的貴族豪強們爲之斂息，紛紛討好荀貞，使他頗有當年曹操用五色棒杖死蹇碩從父後，洛陽權貴“爲之斂跡，莫敢犯也”的風采，而且他在軍中的威望也得到了極大的提升。
荀貞的部衆來源很雜，有西鄉的輕俠和鄉民，有荀氏和潁陰劉氏的族人，有鐵官徒，有因爲戰亂、爲了報仇而參軍的各縣百姓，也有從黃巾軍俘虜中選出的死士。在迎敵時，他們會團結在荀貞的旗幟下，但在戰後，雖然荀貞對他們恩威並施，從來不吝賞賜，可指望在這麼短的時間內就能獲得他們全部的誠心效忠也是不太現實的，如今通過張直之事，荀貞明顯感覺到，全營兵卒對他的敬畏又上了一個臺階。
趁着這股東風，他把之前決定對部隊進行整編的事情提上了案頭。
首先，實現他對鐵官徒的承諾，請求文太守免掉其中有功者的罪，給他們賜下爵位，把願意留下追從他的鐵官徒轉入郡兵。
其次，撫卹傷亡者，讓餘下的部卒自己決定是歸家、還是接着跟從他出徵。
這兩件事說來簡單，辦起來還是挺麻煩的。
最簡單的是請文太守免去鐵官徒其中有功者的罪和賜給有功者爵位，這是早就說好的事，文太守沒有拒絕的道理。
辦過此事，荀貞令樂進、江鵠、小夏把鐵官徒們集合起來，讓他們自主選擇去留，明言：“若是爾等不願再從軍，我不勉強，會給你們遣散路費。若是爾等願意繼續從軍，我請示過府君了，可以把爾等轉入郡兵，爾等有功勞在身的，可以在郡兵中做一個武職小吏。”
鐵官徒多是亡命徒，正如荀貞早前的猜測，大部分人選擇了後者，只有數十人選擇了回家。荀貞說話算數，當場給他們發放了路費。他如此仁義，鐵官徒們十分感恩，已經決定留下的那些不說，數十個打算歸家的又有十幾人因此而改變了主意，決定留下來轉爲郡兵。
前幾天文太守下了道檄令，命郡兵曹充實郡兵。荀貞將這些鐵官徒們的名字報上去，很順利地就將他們轉爲了郡兵。郡中本有郡卒千餘人，加上這數百鐵官徒，現今共有兩千餘人。荀貞任高素、馮鞏等爲軍官，並從西鄉輕俠、荀氏族人中選了一些也同時轉入郡兵裡擔任軍職。
文太守早先下給郡兵曹的檄令包含了兩個方面的內容，除了充實郡兵外，還令郡兵曹擬一份郡卒操練的新計劃。許仲奉荀貞之令，制定出來了一份計劃，呈給荀貞看。荀貞看後，修改了幾處，呈給給文太守，文太守批覆同意。
忙了兩天，郡兵、鐵官徒這一塊兒辦理妥當。
接着就是整編的第二步：撫卹傷亡者，重編部曲。
前前後後跟着荀貞出戰的兵卒共有三千多人，現今剩下的不到三千人，陣亡了數百人，對這陣亡的數百人，荀貞在戰後第一時間就發下了撫卹，只是因爲當時還未安定，所以沒有送到這些亡者的家中，如今可以分頭派人把撫卹的錢財送給他們的家人了。
有漢以來，這麼仁義的帶兵將軍實在不多，這又讓兵卒們堅定了跟從荀貞的決心。不但如此，說句題外話，那些給陣亡士卒送撫卹的人歸來後，荀貞驚奇的發現，他們居然帶回來了不少人，有的帶一兩個，有的帶十幾個，總共也有一兩百人，都是那些陣亡士卒的族人或者鄉人，因爲從沒見過給陣亡者主動送去撫卹的事，也因爲服氣荀貞的威名，故此這些人專門前來投軍。當然，這都是後來的事兒了，不必多言。
撫卹完陣亡者，接下來就是重編部衆。
除掉鐵官徒，還有兵卒兩千出頭。這兩千多兵卒裡有青壯，也有老弱，比如撥給荀成的那個輜重營裡就多是老弱，如今潁川本郡的戰事已經完畢，將要出郡作戰，再帶着這些老弱就不合適了，沒準兒會拖累全軍，因此，荀貞給他們各發了一筆錢，叫他們各自歸家。有十幾個老弱無家可歸，家被黃巾軍毀掉了，也沒親戚可投，沒處可去，荀貞收容了他們，反正他已叫荀成回潁陰去買田買地，建立莊園了，不多這麼幾個人安置。
淘汰掉老弱，剩餘精壯一千八百餘人，這一千八百餘人皆爲潁川本郡人，有三百多人故土難離，不願再跟着荀貞出戰，荀貞給他們發放了路費，放他們歸家，留下來的共有一千五百人。荀貞從中選出了勇敢善戰的一千二百人，準備用爲部曲，徵得餘下三百人的同意，將之轉爲了自家的賓客、徒附。至此，改編完成。
漢家兵制：一曲二百人。他留下的這一千二百人，剛好可以組成六個曲。
他集合全軍之力，把與黃巾軍歷次作戰的繳獲也都加上，湊出了兩百匹可用之戰馬，選出了兩百個擅長騎射的兵卒，首先組成了一個騎兵曲號爲“突騎”，任命辛璦爲此曲之長官。接着又湊出了兩百具精甲，以劉鄧原本的陷陣曲爲底子，又組成了一支兩百人的甲士部隊，依舊號爲“陷陣”，由劉鄧爲長官。又以許仲麾下的弓弩手爲底子，組成了一支兩百人的弓弩部隊，號爲“破敵”，以許仲爲長官。又選荀氏族人、潁陰劉氏族人、西鄉鄉民共計兩百人組成一曲，因爲這些人都是宗族子弟、潁陰同鄉，而荀貞人稱“乳虎”，故此爲示親近，號爲“虎士”，以荀成爲首。餘下四百人組成了兩曲，也分別給以美名，由江禽、陳褒分別統帶之。
六個曲，五個步卒曲，一個騎兵曲。荀貞將騎兵曲放在身邊，親自指揮，將五個步卒曲編爲了一部。雖然只有一千二百人，但是兵種齊全，有騎、有射、有甲士、有輕裝步卒。組建完成後，荀貞搞了一次小規模的閱兵，他站在將臺之上，望着整整齊齊立在營中場上的虎狼們，頗是滿意，很想撫須問一問立在左右的荀攸、戲志才：“二君觀我義從如何？”覺得這未免顯得他有點“小人得志”，將這句話嚥了回去。
一晃眼，離波才、何曼之覆滅已經過去了小半個月，荀貞心道：“朝廷的令旨也許很快就要下來了。我部義從剛剛整編完畢，需得加強操練，以應付即將迎來的戰事。”
他是個想到就做的人，給了全營半天的休整時間，次日開始，除了荀成因爲要去潁陰買田，並安置那三百轉爲荀貞門下賓客、徒附的兵卒，不能參加訓練外，餘下的全營士卒統一集訓，由許仲、劉鄧、辛璦、江禽、陳褒等人監督指揮。
荀貞有公職在身，無法全天都在，每天下值之後卻必會來營中一次，從營中的士卒中抽選一曲來檢查當天的訓練情況，表現得好便給賞，表現得不好也不處罰士卒，而是處罰從曲長以下的各級軍官。如此這般，每日練兵不輟，習射練武，排演陣法。