裕固族的历史渊源可以追溯到古代的回纥部落。回纥这个名字来源于突厥语，意味着“团结”和“联合”，他们自称为这样一个民族。在公元745年，回纥建立了自己的汗国，其领土涵盖了从贝加尔湖南至阴山北、兴安岭西及阿尔泰山东的大片蒙古草原地区。在近百年的时间里，这个汗国成为草原上各游牧部落的核心，一步步吸纳周围部落，最终形成了统一的回纥族。
在这段时期内，汗国与唐朝保持着册封关系，被视为唐朝的一个属国。然而，在公元840年，由于天灾和外敌的侵扰，汗国最终瓦解。随后，一些分支向西和南迁徙，其中一支抵达甘州（今张掖）地区，与当地居民融合，并建立了独立政权。这群人被称作甘州回给，他们是后来的裕固人的祖先。
895年，他们占领甘州城，并设立了自己的政权，但到了1208年，由于西夏军队的进攻，该政权再次崩溃。一部分人退往敦煌以南、柴达木盆地以北区域，为的是避免战乱。这些人自称“撒里畏兀尔”，汉文史籍则将他们称为“黄头回纥”。
1226年，这个小国家被蒙古军队征服，而1368年的元朝灭亡之后，明朝在撒里畏吾尔地区设置三卫，即安定、阿端、曲充等行政单位。
15世纪初期，当塔里木盆地的一位强大的叶尔羌汗国向东扩张并推行伊斯兰教信仰时，那些仍然信奉藏传佛教的人们——即撒里畏兀尔人们——选择迁移到祁连山麓地区。此时，还有来自关外一些蒙古部落的人们也加入了他们，一起生活并逐渐融入当地汉藏民族中，最终形成今天所知的裕固族。这段悠久而复杂的地理环境变迁，对裕固族文化产生深远影响，使其成为今日中国多样性的重要组成部分之一。
