裕固族的历史可追溯至古代的回纥，后者意为“团结”和“联合”，是他们自称之名。公元745年，回纥建立了汗国，其疆域包括贝加尔湖以南、阴山以北、兴安岭以西及阿尔泰山以东的大片蒙古草原地区。在汗国存在近百年的时间里，这些草原上的各游牧部落逐渐围绕着回纥部聚集，并最终形成一个统一的民族——回纥族。从那时起，回纥便成为指草原上各游牧部落的一个古老民族名称。
然而，公元840年，由于天灾和外敌的连续打击，汗国最终崩溃。其余部分散布向西和南迁移，其中一支随后沿弱水流经甘州（今张掖）一带，被称作甘州回给，即日后的裕固人的祖先。这支来自于 回纥的人群在895年占领了甘州城并建立了一独立政权。到了1208年，当该政权在西夏进攻下瓦解之后，一些分散的小组退往敦煌南边与柴达木盆地北边之间的一片区域，他们居住范围从罗布泊到若羌，那里的居民自称为“撒里畏兀尔”，而汉文文献又将他们称作“黄头回纥”。
1226年，这个群体被蒙古军队征服，而1368年的元朝灭亡也使得明朝在撒里畏吾尔地区设立了安定、阿端、曲充三卫。
15世纪初期，当塔里木盆地的叶尔羌汗国向东扩展并推行伊斯兰教时，有一些信奉藏传佛教的撒里畏兀尔人转移到祁连山麓，与当地汉藏等民族共同生活，最终融合成今日所知的裕固族。而其他一些蒙古部落也跟随他们一起迁徙至此地域，从而形成了今天裕固族这个多元文化共同体。
