大象的祖先是始祖象，它们诞生于3700万年前，外形和貘非常相似，鼻子并不长，总是像河马一样生活在水生环境之中，主要食物就是淡水中的水生植物，因此它们都是生活于河流或者湖泊周围，甚至还有部分生活于沼泽。
大象祖先就是所有长鼻目动物的诞生源头，它就是始祖象，它的外形更像是猪或者河马，并且它的习性也和河马等非常相似，始祖象的眼睛和耳朵位置都比较靠后，这使得它能够在水中活动时搅动水草，并且它的上唇非常厚实且宽大，在沼泽中能够翻到大量的植物，从而也就非常便于获取食物了。
大象的祖先虽然叫做始祖象，但它的样子与现代大象还是有很大差别的，首先是它没有现代大象那样高大的身材，它的体型异常小巧，身高最多也只能达到2米，普遍只有70-100厘米高，就相当于现代的牛或者河马的大小。其次就是始祖象的鼻子并不像现代大象那么长，但也呈现粗壮的管状，极为突出，而它的下颌则非常灵活且修长，非常像现代的马来貘。
曾经英国牛津大学的生物学家在埃及地区发现了一批远古陆地生物的化石，经过研究之后发现这是一种长鼻类的动物，虽然体型不像大象那么大，但却有着和大象非常近的血缘联系，通过分析它的牙齿化石发现它主要是以水生植物为食，而且化石周围的岩层也发现了不少湖泊或者沼泽痕迹，这使得科学家都认为大象祖先可能是生活于水中的，至少是半水生动物，之后为了适应陆地环境才进化出了长牙和长鼻子，被认为是从水中来到陆地上的最早的哺乳类动物。
始祖象的进化过程非常的曲折，大象祖先-始祖象诞生之后就开始向着3个方向演化，最终分别出现了恐象、短颌乳齿象以及包含长颌乳齿象在内的象类，而就是长颌乳齿象后来则演化为了现代大象。其实和始祖象存在于同一地区和同一时期的象类祖先还另有其人，它就是古乳齿象，这种大象有着非常修长的上下嘴唇和鼻子，长有两颗硕大的门牙，是始祖象的近亲。
