裕固族的历史渊源可以追溯到古代的回纥部落。回纥这个名字，意为“团结”和“联合”，是他们自称的名称。在公元745年，回纥建立了自己的汗国，其疆域涵盖了今天蒙古国的一部分草原地区。在汗国存在期间，一些游牧部落逐渐与回纥融合，最终形成一个统一的民族群体。
在百余年的时间里，回纥汗国与唐朝保持着良好的关系，并接受唐朝册封成为其属国。但随着公元840年的天灾和外敌侵扰，这个汗国最终崩溃。其中一支分散的部众南迁至甘州（今张掖），并在895年占领该地建立独立政权。
然而，在公元1208年，由于西夏军队的进攻，这个政权也宣告结束。一些成员退往柴达木盆地以北、罗布泊以西区域，被称为撒里畏兀尔，他们在汉文史籍中又被称作黄头回纥。
1226年，撒里畏兀尔人遭到了蒙古军队征服。而到了1368年，当元朝灭亡后，明朝设立安定、阿端、曲充三卫来管理这一地区。
15世纪初期，叶尔羌汗国向东扩张，将伊斯兰教推广给当地居民，而信仰藏传佛教的撒里畏兀尔人则东迁至祁连山麓，与当地其他民族共同生活，最终演变成今日裕固族。这段悠久而复杂的人口流动过程，是裕固族文化独特性和多样性的根源所在。
