裕固族的历史渊源可以追溯到古代的回纥部落。回纥这个名字来源于突厥语，意味着“团结”和“联合”，他们自称为这样一个民族。在公元745年，回纥建立了自己的汗国，其领土涵盖了从贝加尔湖南至阴山北、兴安岭西及阿尔泰山东的大片蒙古草原地区。在近百年的时间里，这个汗国成为蒙古草原上各游牧部落融合成一体的核心，从而形成了一個统一的回纥民族。
在那段时期，汗国历任可汗都接受唐朝册封，并成为唐朝的一部分国家。然而，在公元840年，由于自然灾害和外敌的侵扰，汗国最终瓦解。随后，一些分支向西和南迁徙，其中一支抵达了河西走廊甘州（今张掖）附近，被称作甘州回给，也就是日后的裕固人的祖先。这群人直到895年占领甘州城并建立独立政权。
到了公元1208年，当甘州回给政权在西夏进攻下崩溃后，他们四散流离，其中一些退往敦煌以南、柴达木盆地以北，以罗布泊及若羌为界，并自称“撒里畏兀尔”。汉文史料又将其命名为“黄头回纥”。
1226年，这群撒里畏兀尔被蒙古军队征服，而1368年当元朝灭亡后，明朝设立安定、阿端、曲充三卫来管理这些地区。
到了15世纪初期，叶尔羌汗国开始向东扩张推广伊斯兰教，同时也导致信仰藏传佛教的人们——即今天我们所说的裕固族——东迁至祁连山麓与当地其他民族共同生活，最终形成了今日裕固族这一新的社会集体。
