裕固族的历史渊源可以追溯到古代的回纥部落。回纥这个名字，意味着“团结”和“联合”，是他们对自己身份的自称。在公元745年，回纥建立了自己的汗国，其版图覆盖了从贝加尔湖南侧、阴山北侧、兴安岭西侧到阿尔泰山东侧的大片蒙古草原地区。在这段时间里，这片广袤草原上的各个游牧部落渐渐围绕着回纥部落核心形成了一种共同的生活方式，最终成为一个统一的人群——即后来的回纥民族。这些可汗们接受唐朝册封，成为了唐朝的一部分。
然而，在公元840年的天灾人祸与外敌侵扰下，汗国逐渐衰败。其余部分分散向西和南迁徙，一支在今张掖附近被称为甘州回给，也就是日后的裕固人的祖先。这支回纥人在895年占领甘州城，建立了独立政权，但到了1208年，由于西夏的进攻，该政权也随之崩溃，并且各个小组四散奔逃，其中一支退往柴达木盆地以北、罗布泊以西的一带，被称作撒里畏兀尔，即现在汉文史籍中所说的黄头回纥。
1226年时，这些撒里畏兀尔人又遭到了蒙古军队征服。而在1368年，当元朝灭亡并让位于明朝时，那些撒里畏吾尔地区设立了安定、阿端、曲充三卫，以此维持治理。
至15世纪初期，当塔里木盆地叶尔羌汗国向东扩展并推行伊斯兰教信仰时，那些信奉藏传佛教的撒里畏兀尔人开始向东迁移，与当地一些蒙古部落一起抵达祁连山麓。当这些不同民族共同生活长久后，他们逐渐融合成今天我们所知的裕固族。
