裕固族的历史源远流长，能够追溯到古代强大的回纥帝国。回纥这个名字来源于突厥语中的“团结”和“联合”，他们自称为这样一个民族。在公元745年，回纥建立了自己的汗国，其领土包括了从贝加尔湖南部、阴山北部、兴安岭西部到阿尔泰山东部的一片广阔的蒙古草原地区。在汗国存在近百年的时间里，这片草原上的各游牧部落逐渐围绕着回纥人聚集在一起，最终形成了一個統一的民族——回紇族。从那时起，回紇已经成为指统一草原上各游牧部落的一个民族名称。
然而，在公元840年，由于天灾和外敌的连续打击，汗国最终崩溃。随后，一些分支向西迁徙，一些向南迁徙，其中有一支沿着弱水河流南下到了今天的甘州（张掖）地区，被称作甘州回给，也就是日后的裕固人的祖先。这群人在895年占领了甘州城，并建立了自己的独立政权。直到1208年，当西夏军队攻击他们时，他们再次被迫分散。此后，一部分人退往敦煌以南、柴达木盆地以北，至罗布泊和若羌等地，他们自称为“撒里畏兀尔”，这意味着“沙漠之中”的意思，因此也被史籍记录为“黄头回纥”。
1226年，这个撒里畏兀尔的人民遭到了蒙古军队的征服。而1368年的元朝灭亡之后，当明朝在撒里畏吾尔地区设置安定、阿端、曲充三卫时，这个区域就进入了一个新的历史阶段。
15世纪初期，当叶尔羌汗国扩展到塔里木盆地并推行伊斯兰教的时候，那里的信仰藏传佛教的人们不得不东迁，而一些来自蒙古地区的其他群体也与他们一起迁移到祁连山麓。随着与当地汉藏等民族共同生活几百年的过程，他们逐渐融合成今日我们所知的裕固族。这段悠久而复杂的地缘政治变动使得裕固族成为今天我们看到的一种独特文化和社会现象。
