裕固族的历史渊源可以追溯到古代回纥部落，后者名义上意味着“团结”与“联合”，自称为其民族名称。公元745年，回纥汗国建立，其版图涵盖了贝加尔湖以南、阴山以北、兴安岭以西及阿尔泰山以东的广阔草原地区。在这一百多年的时期里，草原上的各游牧部落逐渐围绕回纥部聚集，最终形成了一个统一的回纥民族。随后，“回纥”便成为指代草原各游牧部落的一个古老民族名称，而这些可汗也接受唐朝册封，为唐朝的附庸。
然而，在公元840年，由于天灾和外敌的连番侵扰，汗国最终崩溃。分散的人群向西、南迁徙，其中一支沿途至河西走廊甘州（今张掖）附近，被称作甘州回给，这就是日后的裕固人祖先。这股流离失所的人们在895年占领甘州城，并建立起独立政权。但到了公元1208年，当遭遇西夏进攻而再次瓦解之后，一部分人退往敦煌以南、柴达木盆地以北，分布于罗布泊至若羌之间，被称作“撒里畏兀尔”，即含有“沙漠”、“黄色”的意思，因此史籍又被称为“黄头回纥”。
1226年，当撒里畏兀尔被蒙古军队征服后，其势力便开始衰败。而1368年的元朝灭亡，以及明朝对撒里畏吾尔地区设立安定等三卫，也标志着这一历史阶段结束。
15世纪初叶尔羌汗国东扩推行伊斯兰教信仰，对信藏传佛教的撒里畏兀尔人口进行驱逐，他们跟随一些来自关外蒙古部落一起迁移到祁连山脚下。经过长时间与当地汉藏等族共同生活，他们融合成今日之裕固族。
