裕固族的历史渊源可以追溯到古代的回纥部落。回纥这个名字来源于突厥语，意味着“团结”和“联合”，他们自称为这样一个民族。在公元745年，回纥建立了自己的汗国，其领土涵盖了从贝加尔湖南至阴山北、兴安岭西及阿尔泰山东的大片蒙古草原地区。在近百年的时间里，这个汗国成为蒙古草原上各游牧部落融合成一体的核心，从而形成了一個统一的回纥民族。
在那段时期，汗国历任可汗都接受唐朝册封，并成为唐朝的一部分国家。这一局势持续到公元840年，当时由于天灾和外敌压力，汗国最终崩溃。随后，一些部众分散向西、向南迁徙，其中有一个支系沿着弱水流域南下到了河西走廊甘州（今张掖）的边界，被称作甘州回给，也就是裕固族祖先们的一个分支。这支人群在895年占领了甘州城并建立了独立政权，但在1208年的战役中，他们失去了这一地盘，每个小组四处逃散。
其中一些人退往敦煌以南、柴达木盆地以北，甚至延伸到罗布泊和若羌地区，他们自称为“撒里畏兀尔”，意思是黄色的意象，因此被史书又称之为黄头回纥。但到了1226年，这些撒里畏兀尔的人民遭遇了蒙古军队的征服，而1368年的元朝灭亡之后，他们所居住的地带由明朝设立安定、阿端、曲充三卫管理。
到了15世纪初叶尔羌汗国开始扩张其疆域，以武力推广伊斯兰教信仰，同时也导致藏传佛教信仰者撒里畏兀尔人的东移。当时一些关外蒙古部落也跟随他们迁移到祁连山脚下，由于长期与当地汉藏等民族共同生活，最终演变成了今日我们所知的裕固族。
