裕固族的历史渊源可以追溯到古代回纥部落，回纥意为“团结”、“联合”，是他们自称的名字。在公元745年，回纥建立了汗国，其领土涵盖了贝加尔湖以南、阴山以北、兴安岭以西和阿尔泰山以东的广阔蒙古草原。百余年的时间里，这些草原游牧部落逐渐聚集在回纥部下，形成了一统众多部落的大型民族——即后来的回纥族。从那时起，回纥不仅成为唐朝册封的属国，更是指代草原上各个游牧部落的一个共同名号。
然而，在公元840年，由于天灾与外敌压力，汗国迅速崩溃。分散的人群向西、南迁徙，其中一支抵达河西走廊甘州（今张掖）地区，被称作甘州回给，即日后的裕固人祖先。这支流离失所的回纥人在895年占领甘州城，并建立了独立政权，但到了1208年，在西夏进攻之下，再次崩溃各家分头逃散。一部分人退至敦煌以南、柴达木盆地以北，分布于罗布泊至若羌一带，以“撒里畏兀尔”自居，他们又被汉文史料称为“黄头回纥”。
1226年，这些撒里畏兀尔人被蒙古军队征服，而1368年的元朝灭亡后，当地设立安定等三卫。当初塔里木盆地叶尔羌汗国东扩推行伊斯兰教，一部分信仰藏传佛教的撒里畏兀尔人迁往祁连山麓，与当地汉藏民族融合，最终形成今日裕固人的共同体。
