裕固族的历史渊源可以追溯到古代的回纥部落。回纥，意味着“团结”与“联合”，是他们自称的名称。在公元745年，回纥汗国建立，其疆域涵盖了贝加尔湖以南、阴山以北、兴安岭以西和阿尔泰山以东的大片蒙古草原地区。在这一百多年的时间里，这片草原上各游牧部落逐渐围绕着回纥部聚集并融合成一个统一的民族——即为后来的回纥族。这些可汗都接受唐朝册封，并成为唐朝的一部分。
然而，在公元840年，由于天灾和外敌的连番侵扰，汗国最终崩溃。随后的迁徙中，一支分流沿弱水南下至河西走廊甘州（今张掖）一带，被称作甘州回给，也就是裕固人的先祖。这股人群在895年占领甘州城，并建立了一块独立的小王国。当时期结束时，他们被西夏军队征服，而另一股分流则退往敦煌以南、柴达木盆地以北，将其命名为“撒里畏兀尔”，意指黄色的意思，因此史籍又称之为黄头回纥。
1226年，撒里畏兀尔遭受蒙古军队征服，而1368年，当元朝灭亡后，明朝便在撒里畏吾尔地区设立了安定、阿端、曲充三卫。
15世纪初期，叶尔羌汗国向东扩张，以武力推行伊斯兰教信仰，而信奉藏传佛教的撒里畏兀尔人转而向东迁移，与一些蒙古部落一起到了祁连山麓。在与当地汉藏等民族共同生活长久之后，这些不同文化的人们逐渐融合成了今日所见到的裕固族。
