回族的祖先最早可以追溯到唐朝时期的波斯和阿拉伯商人，当时他们沿着丝绸之路来到中国经商，最终在沿海定居，大多居住在苏杭、泉州以及长安等地，便逐渐开始形成回族，而之后到宋代时期还融入了部分犹太人的血统。
回族这一中国的少数民族正式形成是在明朝时期，根据史料记载可以得知唐高宗时期联通了海上丝绸之路，这使得大量的波斯和阿拉伯人带来丰富物资做生意，最终他们也就在这里定居，并且娶妻生子，后来还建造了中国最古老的一批礼拜寺，他们被当地人称之为藩客，所以唐朝时期这里也被称为藩坊，被认为是回族的祖先。
等到宋代时期，由于宗教上的信仰相似，所以东来的部分犹太人也在这里定居并且融入，等到蒙古军西征的时候，又签发了不少信仰伊斯兰教的中亚人、波斯人以及阿拉伯人来到中国，最终以商人、学者以及官吏等各种身份定居在全国各地，之后又加入了马来人种，而在维吾尔族接受了伊斯兰信仰之后，也有不少被同化入回族，明代的时候更是回族人数的顶峰时期，当时大量波斯和阿拉伯、西突厥人等以朝贡的方式进入中国，部分侨居中国也逐渐融入了回族，回族才逐渐壮大。
早在北宋沈括的《梦溪笔谈》中就提到回族是指回纥人，主要出现在唐朝时期的西北部，包括葱岭以西的少数民族，最初是人们将其称为“回回”，之后便逐渐演变为自称，最终便简化为“回族”，全称则叫做“回回民族”。其实主要就是中亚人、波斯人以及阿拉伯人构成的信仰伊斯兰教的一个民族，所以他们都会过伊斯兰教最重大节日-古古尔邦节。其次“回”也是伊斯兰教在中国的一个古称“回回教”。
还有一个比较普遍的说法是，唐朝时期这些藩客商人每到天气寒冷的时候就会往回赶，而气候温暖的时候则会返回，因此汉族人就称其为“回回”，当然历史学界还是认同它可能是“回鹘人”的谐音，不过在漠北一代的回回则迁移到西部，联合其他民族形成了维吾尔族、塔吉克族等西域少数民族。
