裕固族的历史渊源可以追溯到古代回纥部落，回纥意为“团结”、“联合”，是他们自称的名字。公元745年，回纥建立了汗国，其领土涵盖了贝加尔湖以南、阴山以北、兴安岭以西和阿尔泰山以东的广阔蒙古草原。百余年的时间里，这些草原游牧部落逐渐聚集在回纥部下，形成了一统众人的回纥民族。在唐朝册封之下，汗国与唐朝保持着属国关系。
然而，在公元840年，由于天灾人祸和外敌侵扰，汗国最终崩溃。分散的部落向西迁徙，一支人群南下的甘州（今张掖）一带，被称作甘州回给，即后来的裕固族祖先。这支人在895年占领甘州城，并建立独立政权，但到了1208年，由于西夏进攻，该政权也随之崩溃。
其中一部分撒里畏兀尔人退往敦煌南、柴达木盆地北，以罗布泊至若羌地区为界，他们自称“撒里畏兀尔”，汉文史籍又称其为“黄头回纥”。1226年，这个群体被蒙古军队征服，而1368年的元朝灭亡后，明朝设立安定、阿端、曲充三卫来管理该地区。
15世纪初期，当叶尔羌汗国向东扩张推行伊斯兰教时，那些信仰藏传佛教的撒里畏兀尔人转而东迁，与一些来自关外的蒙古部落一起抵达祁连山麓。当地居民长期共同生活，最终融合成今日我们所知的裕固族。
