在山濤走後，司馬炎越發感覺別人選拔上來的人才不遂自己的意，就又給在老家的山濤發下詔書，希望他壓制自己失去母親的悲痛，趕緊出山，但是山濤仍然不肯出來，一直等到公元274年，司馬炎的皇后楊豔死了以後，山濤去參加葬禮，這纔回到了洛陽。司馬炎一見山濤，就立刻留下他，死活都不肯放他走，最後，山濤只好再次出山擔任了吏部尚書（人事部長）。
之後的山濤，仍然以高齡繼續升官，他先後擔任了太子司馬衷的少傅（太子老師），又兼任散騎常侍（皇帝騎馬侍從官）；不久又擔任了尚書僕射（國務院副總理），兼任侍中（皇帝高級顧問）。在這段時間裡，山濤始終兼管吏部，其他人根本插不上手。但是，山濤好像並不樂意這種專寵的生活，他以年老多病爲由，先後幾十次給司馬炎寫信，而且不經同意，就擅自離任回家養老去了。
山濤這種行爲，立刻遭到他的下屬、尚書左丞（國務院左辦公廳主任）白褒彈劾，但是司馬炎非常大度的原諒了他，還說山濤擅自離任是自己的過錯，自己和山濤不分上下，不要怪罪他。山濤聽說這個消息以後，也反省出了自己這麼無紀律的危險性，他立刻給司馬炎寫信賠罪。司馬炎一看山濤給自己臺階下，立刻寫詔書讓他再次出山，但是山濤又以給弟媳婦辦喪事當做藉口，又擅自回到自己在洛陽別處的別墅去了，司馬炎第三次給山濤寫下出山詔書，山濤實在推脫不掉，只好又出來繼續做官。他的工作，還是主管官吏選舉。
自從這一次出山以後，山濤的名聲也更牛了，因爲大家都知道，皇帝司馬炎離不開他，他就是皇帝的眼睛，皇帝想要用人就離不開他。就這樣，山濤一直主管官吏選拔，這一管就又是將近十年。
很多人都在好奇，爲什麼司馬炎這麼喜歡山濤，爲什麼在人事選拔這方面，別人就根本插不上手？
我可以負責任的說，山濤是有訣竅的。
如果我們站在思想體系的角度去看待山濤的行爲，我們就會發現山濤其實是一個真正融合了儒道兩種思想的儒道合體實踐家。他的行爲，既遵循了儒家倫理道德中的忠君和孝道，又融合了道家思想中最重要的清靜無爲和道法自然的從政準則。
山濤對司馬炎的尊敬非常能夠體現出儒家所推崇的忠君思想。他相當忠於司馬炎，至少是表現得特別忠誠。按照當時的規定，吏部尚書的職責就是根據各州、各郡的中正們對所推薦的人的評價，判定被推薦人今後的去向。也就是說，吏部尚書選拔人的標準是中正們的評價，而不是皇帝的評價。但是在山濤任職的時候，每一次有官職出現空位，他都要事先擬定幾個人，然後在暗地裡送給司馬炎內定，司馬炎鐘意誰，山濤就順着他的心意公開優先推薦誰。於是，有很多次，山濤優先推薦的人都不是中正們優先推薦的人，這樣是非常不符合當時慣例的。
山濤的這種行爲，曾經多次遭到人們的彈劾，司馬炎怕別人說三道四，就發下詔書告誡山濤推薦人要公平，但山濤非常明白司馬炎這是害怕輿論做做樣子。因爲但凡一個皇帝，哪有不願意自己說了算的呢？而且在那個時代，皇帝在士族心中只是盟主而不是主人，他在用人方面幾乎被士族所控制，所以，山濤的這種做法，無疑讓司馬炎感到萬分欣慰。於是，山濤仍然在暗地裡去向司馬炎彙報人選，人們再怎麼告狀都沒有用，因爲司馬炎感覺很舒服，所以就沒人能扳得倒他，山濤在用人方面的專寵，也就能經久不衰。就在當時，人們還專門把山濤前前後後十多年評價人物的奏章分門別類，然後編成了一本書，書名就叫《山公啓事》，把山濤用人的故事當做經典範例流傳後世。
對於山濤屢次辭職的行爲，不同時代的不同人則有不同的看法。以司馬炎爲代表的主流看法認爲，山濤辭職，是因爲他淳樸厚道，認爲自己確實應該給後來的人騰位置；但也有一些人認爲山濤辭職是故意撈取名聲，所以當時就有很多人彈劾山濤無組織無紀律的行爲，再比如距離山濤那個年代並不久的西晉、東晉交際的士族子弟孫綽，就非常鄙視山濤，對別人說：“山濤這個人我非常困惑，官員不像官員，隱士不像隱士，如果他要是一條跳龍門的鯉魚，一定會當頭把額頭的魚鱗撞得稀爛。”於是我們就看出來了，即使在當時人的眼中，山濤也並不是一個完美的人，甚至有些人認爲他很虛僞，不值得學習。
不過我倒是認爲，刨去早期爲了避禍逃跑的那次辭職，山濤後期的辭職行爲，體現出了他對道家思想精髓的深刻認識，這就是清靜無爲和道法自然。
道家所說的清靜無爲，並不是讓人們不要有所作爲，而是要順應環境、因勢利導，去科學的作爲，不要陷入主觀的狂熱中去。功成身退，是道家非常重要的做官准則，道家認爲，做官也就像山巒起伏、潮水漲落一樣，有山頂也就有谷底，有高潮也就有低潮，沒有人在官場裡是不倒翁，一輩子都能在一線晃悠。對於輝煌過的人來說，只要輝煌過就行了，不要總是妄想保持這種輝煌。山濤前前後後、斷斷續續獨攬全國人事二十多年，聲望和寵愛已經達到頂點，所以山濤害怕遭人嫉妒，害怕成爲別人的靶子，所以堅決希望離開是非之地，安安靜靜的享受晚年的幸福生活。所以我認爲，他後來的辭職並全不是虛僞，而確實是希望退出。
在那個官員普遍揮金如土、燈紅酒綠、互相攀比的年代裡，山濤算是個好官了，據說他生活十分節儉，而且十分專情。當初過窮日子的時候，山濤和老婆開玩笑：“現在日子窮點兒不要緊，我將來肯定是要做一品大官兒的人，就是不知道你有沒有那個福氣！”後來山濤果真發達了，也沒有再娶小老婆，而且經常把家裡的錢拿來分給親戚朋友。
這麼看來，山濤是一個好下屬、好官員、好丈夫，除了撈取但是隨後逐漸被揭發出來的兩件事，卻讓我們不經意的看出了山濤的另一面。
就在西晉王朝建立第三年，也就是公元267年，司隸校尉（首都軍區司令）李憙（西）給司馬炎寫信，彈劾前任立進縣長（今地不詳）劉友、前任尚書僕射（國務院副總理）武陔（該）、中山王司馬睦，還有歷來號稱清正廉明的山濤，私自侵佔國家的公田。當時武陔已經去世，劉友已經離職，李憙就請求司馬炎罷免山濤、司馬睦的官職爵位。
經過查證，李憙彈劾的事情全部屬實，這個消息，對於司馬炎和山濤等人來說，無疑於當頭棒喝。這種行爲，不管怎麼說也是犯罪。但是，這些人中，一個是號稱道德模範、總管全國管理選拔的朝廷重臣，一個是皇族的王爺，居然和別人合夥侵佔公田，這種消息傳出去？形象受損不僅僅是山濤和司馬睦，還有用人不善的司馬炎本人。更何況，司馬炎好不容易纔培養出一個聽話的人事總管，自然不願意因爲這點兒罪行就把山濤和司馬睦繩之以法，最後，司馬炎頒佈詔書，表彰李憙秉公辦事，將劉友嚴懲，然後狠狠的對山濤和司馬睦提出嚴厲批評。山濤就這樣，逃脫了法律的制裁。
還有一件事。當初陳郡人（河南淮陽）袁毅曾經擔任過鬲（格）縣縣令（山東德州南），爲了向上爬，像當時很多人一樣，他大肆貪污，然後用這些錢財來賄賂中央大臣，很多人都受過他的好處，其中山濤也收過他的一百斤絲綢。後來東窗事發，袁毅被扔進廷尉（司法部）法辦，凡是接受賄賂的人，都被查了出來然後受到追究，山濤的這一百斤絲綢，也被查獲。但是，山濤卻辯解說，他是因爲不想讓大家覺得他不近人情才受的賄，絲綢放在閣樓裡那麼多年都沒開封，那不正表示自己的清廉嗎？
但仔細想想，這個理由其實是說不通，因爲從古至今，受賄都是拿了賄賂就算數，你說你根本不會用，誰知道你是真不用，還是沒捨得用、忘了用呢？但是由於司馬炎的保護，山濤再一次逃脫了法律的懲罰，依舊保持高位。
山濤確實是有很大瑕疵的，無論從哪方面來說。他也利用職權去撈取好處，他也利用選拔人才去取悅皇帝，他也選拔了很多很有問題的人做官，但和西晉後來那些主管官員選拔的大臣們相比，他卻又是最優秀的。因爲，西晉官場的環境是一年不如一年，選出來的人也是一代不如一代，從這個角度來看，山濤還算有優點，起碼他沒有明着敗壞官場風氣，他對西晉還是有貢獻的，算是一個譭譽參半的政客，但不是政治家，因爲他的貢獻沒有大過他的索取。
在以後的日子裡，我們還會看到山濤在西晉時代的身影，隨着西晉的輝煌，而走向輝煌，直至走向死亡。
而另一個熱心做官的七賢王戎，和山濤簡直是完全相反，幾乎沒有什麼道德感和責任感，一生都像一展浮萍，隨着西晉王朝而起起落落、生生死死。但是我們現在不說他，因爲他將作爲整個西晉王朝歷史的見證者，作爲“竹林七賢”去世最晚的一個標誌性人物，用他的所作所爲、所見所聞，爲我們展示一個色彩斑斕的西晉時代。