裕固族的历史渊源可以追溯到古代回纥部落，后者名义上意味着“团结”与“联合”，自称为其民族名称。公元745年，回纥汗国建立，其版图涵盖了贝加尔湖以南、阴山以北、兴安岭以西及阿尔泰山以东的广阔草原地区。在这一时期内，各游牧部落逐渐聚集在回纥部周围形成统一的民族实体。从那以后，“回纥”成为一个代表草原诸多游牧部落的古老民族名称。同时，这个汗国历代可汗都接受唐朝册封，被视作唐朝的属国。
然而，在公元840年的天灾和外敌侵扰下，汗国迅速崩溃。随后的迁徙中，一部分人向西南迁移，最终抵达河西走廊甘州（今张掖）一带，被称为甘州回给，即今日裕固人的祖先。这支分散的人群于895年占领甘州城，并建立了独立政权，但在1208年遭遇西夏进攻而崩溃。其中一部分退往敦煌以南、柴达木盆地以北区域，与罗布泊至若羌等地相接，为此他们自称“撒里畏兀尔”，意指黄色或沙漠，而汉文史籍则将其称为“黄头回纥”。
1226年，此群体被蒙古军队征服，而1368年的元朝灭亡后，明朝在撒里畏吾尔地区设立安定、阿端、曲充三卫。
15世纪初期，由于叶尔羌汗国对塔里木盆地扩张并推广伊斯兰教信仰，以及藏传佛教信徒撒里畏兀尔人向东迁徙，他们共同生活于祁连山麓地区。此过程中，他们与当地汉藏等民族融合，最终形成今天所见裕固族。这段悠久而复杂的历史经历塑造了裕固族独特文化和身份认同。
