裕固族的历史渊源可以追溯到古代回纥部落，后者名义上意味着“团结”与“联合”，自称为其民族名称。公元745年，回纥汗国建立，其疆域涵盖了蒙古草原的广大地区。在百余年的统治下，这个汗国成为各游牧部落融合的中心，最终形成了一个统一的回纥民族实体，并接受唐朝册封，成为了唐朝的一个属国。
然而，在公元840年，由于天灾和外敌侵扰，汗国最终崩溃。随后的几支部众分散迁徙，其中一支沿着弱水南下的路径抵达了甘州（今张掖）周边，被称作甘州回给，也就是日后的裕固族祖先。这股回纥人在895年占领甘州城，并建立了一块独立政权，但到了1208年，由于西夏的进攻，该政权也随之瓦解。
其中一部分撒里畏兀尔人退往敦煌以南、柴达木盆地以北区域，以罗布泊至若羌为界，他们自称“撒里畏兀尔”，汉文史籍又将他们命名为“黄头回纥”。1226年，这些人被蒙古军队征服，而1368年的明朝建立后，又设立安定、阿端、曲充三卫来管理这个区域。
15世纪初期，当叶尔羌汗国向东扩张并推行伊斯兰教时，一些信仰藏传佛教的人们从塔里木盆地迁移到祁连山麓，与当地汉藏等民族共同生活并逐渐融入今日裕固族中。
