山涛的父亲山曜，官至宛句县令。山涛早年丧亲，家中贫困。少年时即有器量，卓尔不群。喜好《庄子》、《老子》，常隐居乡里，掩盖自己的志向才能。与嵇康、吕安为友，后又遇阮籍，常在一竹林中交游，志趣契合，为莫逆之交。嵇康后来因得罪司马氏而被治罪，临死前对儿子嵇绍说：“有巨源在，你就不会孤独无靠了。” 山涛四十岁时才入仕途，最初担任郡里的主簿、功曹及上计掾。后被举为孝廉，又被州里征辟为河南从事。 一次，山涛与石鉴共宿，夜里起来用脚踢一下石鉴，对他说：“现在是什么时候，你还在睡!知道太傅(指司马懿)称病卧床是何用意吗?”石鉴回答说：“宰相多次不上朝，给他个尺把长的诏书让他回家就是了，你何必操心呢!”山涛说：“咄!石生不要在马蹄间来往奔走啊!”于是丢弃官符而去。正始十年(249年)，司马懿果然发动高平陵之变，诛灭了曹爽集团，山涛于是归隐不问世事。
颇受重用山涛的从祖姑山氏是司马懿夫人张春华的母亲，因而可以见到司马师，司马师说：“当世的吕望是想做官吧!”于是命司隶校尉举山涛为茂才，授任郎中，又转任为骠骑将军王昶的从事中郎。很久以后，被拜为赵国相，迁为尚书吏部郎。司马昭写给山涛的信说：“足下任职清明，高雅之操超群出世。顾念您家中贫乏，现在送去钱二十万，谷二百斛。” 魏主曾赐司马师春服，司马师转赐给山涛，又因山涛母亲年老，赐藜杖一根。山涛晚年与尚书和逌交好，又与钟会、裴秀亲近。因钟、裴二人争权夺利，山涛不偏不倚，处于中间，二人都从山涛那里得到好处而对他无恨。后迁为大将军从事中郎。 景元五年(264年)，钟会在蜀作乱，司马昭准备亲自西征。当时曹魏的宗室都在邺，司马昭对山涛说：“西边的事我亲自去处理，后方的事诚心委托于您。”
让山涛监视宗室的动静，以本职行军司马，拨给亲兵五百人镇守邺。同年，受封为新沓子。转为相国左长史，统领别营兵。司马昭认为山涛是乡闾中素有德望的人，于是命司马炎拜见他。司马昭将儿子司马攸过继给司马师，平日又看重司马攸，曾经问裴秀道：“大将军(指司马师)开国建业，未成而亡，我只是继承他的事业，所以想要立司马攸为世子，以归功于兄长，如何?”裴秀认为不可。又以此事问山涛，山涛回答说：“废长子立少子，违背礼制，是不祥的。国家的安危将由此事决定。”于是才定下以司马炎为世子，司马炎为此亲自拜谢山涛。 咸熙二年十二月丙寅(266年2月8日)，司马炎受禅即位，建立西晋，任命山涛代理大鸿胪，护送陈留王曹奂返回邺城。
