裕固族的历史渊源可以追溯到古代回纥部落，回纥意为“团结”、“联合”，是他们自称的名字。在公元745年，回纥建立了汗国，其领土涵盖了贝加尔湖以南、阴山以北、兴安岭以西和阿尔泰山以东的广阔蒙古草原。百余年的时间里，这些草原游牧部落逐渐聚集在回纥部下，形成了一统体的回纥族。作为唐朝册封下的属国，回纥汗国历经多个可汗。
然而，在公元840年，由于天灾和外敌的侵扰，汗国最终崩溃。其后，一部分人向西迁徙，一部分向南流离失所，其中一支定居在今张掖附近，被称作甘州回给，即日后的裕固人的祖先。这支人群于895年占领甘州城，并建立独立政权，但到了1208年，因西夏的进攻，该政权也随之瓦解。一部分人退往敦煌南边、柴达木盆地北边至罗布泊与若羌地区，他们自称“撒里畏兀尔”，汉文史籍又称之为“黄头回纥”。
1226年，这一区域被蒙古军队征服，而1368年的元朝灭亡后，明朝设立安定、阿端、曲充三卫管理这一地区。在15世纪初期，当叶尔羌汗国扩展至塔里木盆地时，以武力推行伊斯兰教，并迫使信仰藏传佛教的人们——即撒里畏兀尔人东迁。此时，一些来自关外的蒙古部落也加入他们，在祁连山麓定居。经过长时间与当地汉藏等民族共同生活，他们逐渐融合成今天所知的裕固族。
