裕固族的历史渊源可以追溯到古代回纥部落，后者名义上意味着“团结”与“联合”，自称为其民族名称。公元745年，回纥汗国建立，其版图涵盖了贝加尔湖以南、阴山以北、兴安岭以西及阿尔泰山以东的广阔草原地区。在这一百多年的时期里，草原上的各游牧部落逐渐围绕着回纥部聚集并融合成一个统一的民族——即回纥族。从此以后，“回纥”成为指代草原各游牧部落的一个古老民族名称。
在公元840年，由于天灾和外敌的共同侵扰，汗国最终崩溃。分散的群众向西或南迁移，其中一支沿弱水流域南下至河西走廊甘州（今张掖）地区，被称作甘州回给，即日后的裕固族祖先。这支来自于高丽人的一部分，在895年占领甘州城，并建立了独立政权。到了公元1208年，由于西夏王朝的进攻，这个政权也随之崩溃，最终导致各个小组四散逃亡，其中一部分退往敦煌以南、柴达木盆地以北区域，至罗布泊及若羌等地，以“撒里畏兀尔”、“撒里”、“黄”的名字自称，因此在汉文史料中又被称为“黄头回纥”。
1226年的蒙古征服以及1368年的元朝灭亡，使得撒里畏吾尔地区进入明朝治下的安定、阿端、曲充三卫管理之下。
15世纪初叶尔羌汗国对塔里木盆地进行扩张推行伊斯兰教政策，而信仰藏传佛教的人们则东迁，他们与当地其他蒙古部落一起迁移到祁连山麓，从而逐渐形成今天所见到的裕固族群体。此过程中，他们与汉藏等多种文化交融，最终形成了独特的语言和生活方式，为今日悠久而复杂的地理环境赋予了新的面貌。
