裕固族的历史源远流长，能够追溯到古代强大的回纥帝国。回纥这个名字来源于突厥语中的“团结”和“联合”，他们自称为这样一个民族。在公元745年，回纥建立了自己的汗国，其领土包括了从贝加尔湖南侧、阴山北侧、兴安岭西侧到阿尔泰山东侧的大片蒙古草原地区。在汗国存在接近一百年的时间里，这片广阔草原上的各个游牧部落逐渐围绕着回纥部落形成了一种统一的身份认同，从而成为了一支名为回纥的古老民族。整个汗国期间，每一位可汗都接受唐朝的册封，并且成为了唐朝的一部分。
然而，在公元840年，由于天灾和外敌的连续打击，汗国最终崩溃了。这时，一些分散的部队向西或向南迁徙，其中有一支在弱水南岸，最终定居在今张掖附近，被称作甘州回给，也就是裕固人的祖先。这群人直到895年才占领了甘州城并建立起独立的小政权。而到了1208年，当甘州回给政权再次被西夏军队征服后，它们四散飞散，其中一些退往敦煌以南、柴达木盆地以北至罗布泊及若羌之间，并自称为“撒里畏兀尔”，其含义是“黄色的”或“沙漠之中的人”。因此，他们又被史籍称作“黄头回纥”。
1226年，撒里畏兀尔人被蒙古军队征服，而1368年的元朝灭亡后，明朝设立了安定、阿端和曲充三卫来管理这些区域。15世纪初期，当叶尔羌汗国开始向东扩展并推行伊斯兰教时，那里的信仰藏传佛教的撒里畏兀尔人便跟随着其他一些蒙古部落一起迁移到祁连山脚下，与当地汉藏等民族共同生活，最终融合成了今日所见到的裕固族。
