裕固族的历史渊源可以追溯到古代回纥部落，后者名义上意味着“团结”与“联合”，自称为其民族名称。公元745年，回纥汗国建立，其版图涵盖了贝加尔湖以南、阴山以北、兴安岭以西及阿尔泰山以东的广阔草原地区。在这一时期内，各游牧部落逐渐聚集在回纥部周围形成统一的民族实体。从那以后，“回纥”成为一个包括草原诸多游牧部落在内的古代民族名称，其汗国历任可汗均接受唐朝册封，以属国之姿存在。
然而，在公元840年的天灾和外敌侵扰下，汗国衰败，并分裂成数支，其中一部分迁徙至甘州（今张掖）一带，被称作甘州回给，即日后的裕固人祖先。这支流离失所的回纥人于895年占领甘州城，建立独立政权。随后，一系列战乱导致政权再次崩溃，其中一部分散兵游勇退居敦煌南及柴达木盆地北方至罗布泊、若羌等地，将自己命名为“撒里畏兀尔”，意指黄色或沙漠，这也是汉文史料中对他们的称呼。
1226年，此群体被蒙古军队征服，而1368年元朝灭亡后，明朝设立安定、阿端、曲充三卫管理此区域。此前15世纪初叶尔羌汗国向东扩张推行伊斯兰教，与信仰藏传佛教的撒里畏兀尔族共同迁至祁连山麓，并最终融入当地汉藏民众中形成今日裕固人的共同体。
