裕固族的历史源远流长，能够追溯到古代强大的回纥帝国。回纥这个名字来源于突厥语，意味着“团结”和“联合”，自称为这样一个民族。公元745年，他们建立了自己的汗国，疆域涵盖了从贝加尔湖南侧、阴山北侧、兴安岭西侧到阿尔泰山东侧的大片蒙古草原地区。在汗国存在接近一百年的时间里，这个地区的各游牧部落逐渐围绕着回纥部聚集，并最终形成了一个统一的回纥族。自那时起，回纥就成为了指代草原上多个游牧部落的一个共同名词。
在汗国的一系列可汗中，有些接受到了唐朝的册封，被视作唐朝的属国之一。然而，在公元840年，由于天灾和外敌的连续侵扰，汗国最终解体。其后，一部分人迁移到西边，而另一部分则向南移动，最终在河西走廊甘州（今张掖）附近定居，这些人被称作甘州回给，也就是日后的裕固人的祖先。这支来自于回纥的人们在895年占领了甘州城并建立了一座独立政权。
随着时间推移，当地政权不断变化，最终于公元1208年因为西夏王朝的进攻而崩溃，再次分散开来。一部分人退往敦煌以南、柴达木盆地以北区域，并至罗布泊及若羌一带定居，他们自称为撒里畏兀尔，即“黄头”或“黄”的意思，因此在汉文史料中又被称为黄头回纥。
1226年，当这些撒里畏兀尔人遭遇蒙古军队征服后，其势力再次受到冲击。而到了1368年的明朝成立之后，该地区设立了安定、阿端、曲充三卫，以此来管理当地居民。
15世纪初期，当叶尔羌汗国向东扩展并推广伊斯兰教时，那里的撒里畏兀尔人们转而信仰藏传佛教，并与一些来自蒙古草原的地方部落一起迁徙到了祁连山脚下。在那里，他们与当地汉藏等民族相处久远，最终融合成了今日所见到的裕固族群体。
