裕固族的历史渊源可以追溯到古代的回纥部落。回纥这个名字来源于突厥语，意味着“团结”和“联合”，他们自称为这样一个民族。在公元745年，回纥建立了自己的汗国，其领土涵盖了从贝加尔湖南至阴山北、兴安岭西及阿尔泰山东的大片蒙古草原地区。在近百年的时间里，这个汗国成为了许多游牧部落的中心，他们逐渐融合成为一个统一的回纥族。
在长达近200年的历史中，回纥汗国与唐朝保持着稳定的关系，被册封为唐朝的属国。然而，在公元840年，由于天灾和外敌压力，汗国最终崩溃。部分部众向西迁徙，而另一部分沿弱水南下，最终定居在河西走廊甘州（今张掖）附近，被称作甘州回给，也就是后来的裕固人的祖先。这支人群在895年占领甘州城，并建立了独立政权，但到了1208年，因西夏的进攻，该政权也随之崩溃。
其中一支撒里畏兀尔人退守敦煌以南、柴达木盆地以北，以罗布泊、若羌为界，他们自称“撒里畏兀尔”，即含义为“黄头”的意思，因此被汉文史籍又称作“黄头回纥”。1226年，这些人被蒙古军队征服，而1368年的元朝灭亡后，明朝在撒里畏吾尔地区设立安定、阿端、曲充三卫。
15世纪初期，当塔里木盆地叶尔羌汗国向东扩张并推行伊斯兰教时，与之信仰藏传佛教生活的人们——包括撒里畏兀尔人——共同迁移到祁连山麓区域。而经过长时间与当地汉藏等民族共同生活，他们逐渐融合形成今日所见的裕固族。
