裕固族的历史渊源可以追溯到古代的回纥部落。回纥这个名字来源于突厥语，意味着“团结”和“联合”，他们自称为这样一个民族。在公元745年，回纥建立了自己的汗国，其领土涵盖了从贝加尔湖南至阴山北、兴安岭西及阿尔泰山东的大片蒙古草原地区。在近百年的时间里，这个汗国成为了各游牧部落以其为核心逐渐融合在一起的一个统一民族——回纥族。由于接受唐朝册封并成为唐朝属国，他们的地位和影响力得到了巩固。
然而，在公元840年，由于天灾和外敌的侵扰，汗国最终崩溃。分散的部众向西或南迁移，其中一支沿弱水流域南下，最终定居在河西走廊甘州（今张掖）一带，被称作甘州回给，即日后的裕固族祖先。这支人群在895年占领甘州城，并建立了独立政权。不过，当公元1208年甘州回纥政权因西夏军队进攻而灭亡后，它们分散四处寻找新的居所。
其中一部分人退往敦煌以南、柴达木盆地以北，范围包括罗布泊与若羌等地，并自称“撒里畏兀尔”，意思是黄色的意思，因此被史籍又称为“黄头回纥”。随着时间推移，在1226年的蒙古征服之后，再次经历了一段动荡时期直至1368年的明朝成立。此后三卫安定、阿端、曲充相继设立。
15世纪初叶尔羌汗国对塔里木盆地进行扩张并推广伊斯兰教信仰，而信奉藏传佛教的撒里畏兀尔人则东迁至祁连山麓，与当地汉藏民族共同生活，最终形成今天我们所知的裕固族。
