裕固族的历史渊源可以追溯到古代回纥部落，后者名义上意味着“团结”与“联合”，自称为其民族名称。公元745年，回纥汗国建立，其版图涵盖了贝加尔湖以南、阴山以北、兴安岭以西及阿尔泰山以东的广阔草原地区。在这一时期内，各游牧部落逐渐聚集在回纥部周围形成统一的民族实体。从那以后，“回纥”成为了一个代表草原多个游牧部落的古老民族。
然而，在公元840年的天灾和外敌攻击下，这个汗国最终崩溃。分散的部众向西或南迁移，其中一支抵达了河西走廊甘州（今张掖）附近，被称作甘州回给，即日后的裕固人的先祖。这支人群于895年占领甘州城，并建立了独立政权。在公元1208年，由于遭受西夏攻势，这个政权也随之瓦解。其中一部分退往敦煌南方、柴达木盆地北侧，以罗布泊至若羌为界，与汉文史籍又被称作“黄头回纥”。
1226年，这些撒里畏兀尔人被蒙古军队征服，而1368年的元朝灭亡后，明朝在撒里畏吾尔地区设立安定、阿端、曲充三卫。
15世纪初，当叶尔羌汗国向东扩张推行伊斯兰教时，信奉藏传佛教的撒里畏兀尔人迁往祁连山脚下的蒙古族居民共同生活，最终融合成为今日所见裕固族。
