裕固族的历史源远流长，能够追溯到古代强大的回纥帝国。回纥这个名字来源于突厥语中的“团结”和“联合”，他们自称为这样一个民族。在公元745年，回纥建立了自己的汗国，其领土涵盖了从贝加尔湖南部到阴山北部、兴安岭西边及阿尔泰山东边的大片蒙古草原地区。在这一时期，一百多年的时间里，这个草原上众多游牧部落逐渐围绕着回纥部聚集在一起，最终形成了一支统一的回纥族。
作为唐朝的一员外藩，回纥汗国历任可汗都接受唐朝的册封，并保持着与唐朝的友好关系。不过，由于天灾人祸和外敌侵扰，这个曾经强盛的汗国在公元840年迅速崩溃。随后，大批游牧民分散向西和南迁徙，其中一部分最终抵达了今天张掖市以南的地带，被称作甘州河务，也就是裕固人的先祖。这支人群在895年占领了甘州城，并建立起自己的独立政权。
然而，在1208年的西夏进攻下，这个政权再次陷入危机，最终四散离去。其中一部分人退至敦煌以南、柴达木盆地以北区域，即现在罗布泊、若羌等地，以撒里畏兀尔之名自居，而汉文史籍则将他们称作黄头回紇。
1226年，撒里畏兀尔被蒙古军队征服。而1368年的元朝灭亡后，明朝便设立安定、阿端、曲充三卫来管理这片地区。
到了15世纪初期，当塔里木盆地叶尔羌汗国开始东扩并推广伊斯兰教信仰时，那些信奉藏传佛教的人们——即撒里畏兀尔也开始向东迁移，他们不仅携带着自己的文化，还与当地其他民族融合，使得今日我们所见到的裕固族文化得以形成。此前，一些来自关外蒙古部落的人们也跟随他们迁移到祁连山麓，从此与汉藏等民族共同生活，为今后的裕固族奠定基础。
