裕固族的历史渊源可以追溯到古代的回纥部落。回纥这个名字，来源于突厥语中的“团结”和“联合”，是他们自称之名。在公元745年，回纥部建立了自己的汗国，其版图涵盖了从贝加尔湖南至阴山北、兴安岭西至阿尔泰山东的大片蒙古草原地区。在汗国存在接近一个多世纪期间，这片广袤草原上的各游牧部落逐渐围绕着回纥部聚集，并最终形成了一支统一的民族——回纥族。这时期的汗国与唐朝保持着册封关系，被视为唐朝的一员附庸。
然而，到了公元840年，由于天灾和外敌的连续侵扰，汗国最终解体。随后，一些分散的部众向西迁徙，而另一部分沿着弱水河流南下，最终定居在今天甘肃省张掖市一带，被后人称为甘州回给，即今日裕固人的祖先。这支曾经属于大型帝国的一部分的小组，在895年占领了甘州城，并建立起独立政权。但在公元1208年，当地遭受西夏军队攻击而衰败，再次分散开来，其中一些人退往敦煌以南、柴达木盆地以北地区，即今青海、四川边界地区，以罗布泊及若羌为界，他们自称“撒里畏兀尔”，意即“黄头”。此后，他们又被汉文史籍称作“黄头回纥”。
1226年的蒙古征服和1368年的元朝灭亡，以及随后的明朝统治，都对撒里畏兀尔人的生活产生了深远影响。在15世纪初期，当塔里木盆地叶尔羌汗国开始东扩并推行伊斯兰教时，这些信仰藏传佛教的人们不得不转移至祁连山脚下，与当地其他民族融合，最终形成了今天所见的裕固族。
