裕固族的历史渊源可以追溯到古代回纥部落，回纥意为“团结”、“联合”，是他们自称的名字。在公元745年，回纥建立了汗国，其领土涵盖了贝加尔湖以南、阴山以北、兴安岭以西和阿尔泰山以东的广阔蒙古草原。百余年的时间里，这些草原游牧部落逐渐聚集在回纥部下，形成了一统体的回纥族。作为唐朝册封下的属国，汗国历代可汗与唐朝保持着政治上的联系。
然而，在公元840年，由于天灾人祸和外敌侵扰，汗国最终崩溃。分散的游牧群体向西迁移或南下，其中一支抵达今张掖附近，被称作甘州回给，是后来的裕固人的祖先。这支人的势力在895年占据甘州城并建立独立政权，但到了1208年，因西夏进攻而再次分裂。此时，一部分人退往敦煌以南、柴达木盆地以北地区，与罗布泊至若羌一带相接，他们自称“撒里畏兀尔”，汉文史籍又称之为“黄头回纥”。
1226年，当撒里畏兀尔被蒙古军队征服后，他们成为了蒙古帝国的一部分。在1368年的元朝灭亡之后，明朝在其居住地设立安定、阿端、曲充三卫。
15世纪初期，当叶尔羌汗国向东扩张推行伊斯兰教时，一些信仰藏传佛教的人们——即撒里畏兀尔人——迁徙至祁连山麓，并融入当地汉藏等民族中，最终形成今日裕固族。
