胡遵，字以道，汉建安十一年(206)丙申生，安定临泾(今甘肃镇原南)人，魏卫将军。景初二年(238)，辽东公孙渊反，司马懿遣遵等击破其将卑衍、杨祚。嘉平四年(252)冬十一月，诏征南大将军王昶、征东将军遵、镇南将军毌丘俭等征吴。十二月，吴大将军诸葛恪拒战，大破众军于东关。不利而还。正元二年(255)七月，以遵为卫将军。甘露元年(256)秋七月己卯，遵薨。
他有六子，最著名者是胡奋，他在晋武帝时屡立战功，官做到尚书仆射、镇南大将军、开府仪同三司。他的女儿胡芳是晋武帝司马炎的贵嫔，从此成为外戚，权势更加显赫。
《三国志》注解晋诸公赞曰：胡烈儿名渊，字世元，遵之孙也。遵，安定人，以才兼文武，累居籓镇，至车骑将军。子奋，字玄威，亦历方任。女为晋武帝贵人，有宠。太康中，以奋为尚书仆射，加镇军大将军、开府。弟广，字宣祖，少府。次烈，字玄武，秦州刺史。次岐，宇玄嶷，并州刺史。广子喜，凉州刺史。渊小字鹞鸱，时年十八，既杀会救父，名震远近。
南北朝时期，拓跋氏统治的北魏对清河崔、范阳卢、太原郭、河东柳几个大姓重重打击，而胡奋后裔胡国珍之女却成为北魏皇太后，胡姓于是步入了历史上最为辉煌的时期。从胡遵以后的二百多年中，安定临泾胡氏位至三公九卿及将军、太守者多达十余人，还出了两位皇太后、皇后，盛极一时。
