裕固族的历史源远流长，能够追溯到古代强大的回纥帝国。回纥这个名字来源于突厥语中的“团结”和“联合”，他们自称为这样一个民族。在公元745年，回纥建立了自己的汗国，其领土包括了从贝加尔湖南侧、阴山北侧、兴安岭西侧到阿尔泰山东侧的大片蒙古草原地区。在汗国存在接近一百年的时间里，这个地区上各游牧部落逐渐围绕着回纥部聚集，并最终形成了一个统一的民族——回纥人。随后，回纥汗国的每位可汗都接受唐朝册封，从而成为唐朝的一部分。
然而，在公元840年，由于天灾和外敌的连续打击，汗国最终崩溃。其余的人们分散向西和南迁移，其中一支沿着弱水河流向下移动，最终在河西走廊甘州（现在的张掖）附近定居下来，被称作甘州回给，也就是后来裕固人的祖先。这群人在895年占领了甘州城，并建立了一座独立的小王国。而到了1208年，当这座小王国再次面临来自西夏的进攻时，它最终崩溃，每个人四处逃散其中之一支退往敦煌以南、柴达木盆地以北至罗布泊及若羌之间，并自称为撒里畏兀尔，这个名字含义是“沙漠之中”的意思，因此也被史籍称为黄头回紮。
1226年，撒里畏兀尔被蒙古军队征服，而1368年的元朝灭亡后明朝设立安定、阿端、曲充三卫管理这些区域。
15世纪初期，叶尔羌汗国通过战争推广伊斯兰教并扩张其疆域。当时信奉藏传佛教的人们为了逃避伊斯兰教，他们带着一些蒙古部落一起迁移到祁连山脚下，与当地汉藏等民族共同生活久远，最终融合成今日我们所知的裕固族。
