裕固族的历史渊源可以追溯到古代的回纥部落。回纥这个名字来源于突厥语，意味着团结与联合。在公元745年，回纥建立了汗国，其版图覆盖了从贝加尔湖南侧、阴山北侧、兴安岭西侧和阿尔泰山东侧的大片蒙古草原地区。百余年的时间里，这些草原上的游牧部落逐渐聚集在回纥部下，形成了一個統一的民族——名为“回纥”的古老民族。此後，“回纥”便成为了一个涵盖草原各游牧部落的一个古代民族名称。
自公元840年起，由于天灾和外敌侵扰，汗国迅速崩溃。分散的群众向西或南迁移，其中一支沿弱水流域南下至河西走廊甘州（今张掖）地区，被称作甘州回给，即日后裕固人的祖先。这支来自于高丽人的一部分，在895年占领甘州城，并建立了独立政权。不过，当公元1208年甘州回给政权被西夏军队攻破后，它们四散离去。一部分人退居敦煌以南、柴达木盆地以北，以罗布泊及若羌为界，他们自称“撒里畏兀尔”，意指黄色头发，因此在汉文史料中又被称作“黄头回纥”。
1226年，“撒里畏兀尔”被蒙古军队征服，而1368年随着元朝灭亡并由明朝取代，该地区设置安定、阿端和曲充三卫。
到了15世纪初期，叶尔羌汗国开始扩张势力，将伊斯兰教推广至塔里木盆地。当时信仰藏传佛教的撒里畏兀尔人因宗教冲突而东迁，与一些关外蒙古部落一起抵达祁连山麓区域。在那里，他们与当地汉藏等民族共同生活，最终融合成为今日所见的裕固族。
