裕固族的历史渊源可以追溯到古代的回纥部落。回纥这个名字来源于突厥语，意指“团结”和“联合”，他们自称为这样一个民族。在公元745年，回纥建立了自己的汗国，其领土涵盖了从贝加尔湖南至阴山北、兴安岭西及阿尔泰山东的大片蒙古草原地区。在近百年的时间里，这个汗国成为草原上各游牧部落的核心，一步步形成了一统众多部落的回纥民族。随着时间的推移，回纥不仅成为了一个包括多个游牧部落在内的古老民族名号，也与唐朝建立了属国关系。
然而，在公元840年，由于天灾和外敌的连续打击，汗国最终崩溃。其余的一些分支向西或南迁移，其中一部分沿着弱水河流到了今天甘州（张掖）的河西走廊地区，被后人称作甘州回给。这股来自回纥的人民在895年占领甘州城，并且建立了自己的独立政权。但是到了公元1208年，由于受到西夏进攻，他们再次失去了立足之地，最终四散奔逃，其中一部分退往敦煌以南、柴达木盆地以北区域，即今日祁连山麓这一带，他们自称为撒里畏兀尔，而史书记载他们又被称为黄头回纥。
1226年，这群撒里畏兀尔人被蒙古军队征服，但直到1368年的明朝灭亡时期，他们依然生活在撒里畏吾尔地区。明朝之后，将这块土地划分为安定、阿端、曲充三卫进行管理。不过，当叶尔羌汗国在15世纪初期向东扩张并推广伊斯兰教信仰时，那些信奉藏传佛教的撒里畏兀尔人不得不迁徙至祁连山脚下，与当地汉藏等族共同生活，最终融合成如今所见的裕固族。
