裕固族的历史渊源可以追溯到古代的回纥部落。回纥这个名字，意为“团结”和“联合”，是他们自称的名称。在公元745年，回纥建立了自己的汗国，其疆域涵盖了今天蒙古国的一部分草原地区。在汗国存在期间，一些游牧部落逐渐与回纥融合，最终形成一个统一的民族群体。
在百余年的时间里，回纥汗国与唐朝保持着良好的关系，并接受唐朝册封成为其属国之一。然而，在公元840年，由于天灾、战乱和外敌侵扰，汗国最终崩溃。一些部众分散迁徙，其中一支流浪至今张掖附近，被称为甘州回给，这就是裕固人祖先的起源。
这些曾经的小小政治实体在895年占领了甘州城，并建立了一段独立时期。但到了1208年，由于西夏的进攻，这个政权也随之瓦解。而其中一部分人退居敦煌以南、柴达木盆地以北，以罗布泊和若羌为界，他们自称撒里畏兀尔，因汉文史籍中有黄头回纥这一别名而闻名。
1226年，这个区域被蒙古军队征服，而1368年的明朝成立后，该地区设立安定、阿端、曲充三卫。这段时间内，塔里木盆地的一个强大国家叶尔羌汗国向东扩张并推行伊斯兰教，与信仰藏传佛教的人们发生冲突，最终导致撒里畏兀尔人向祁连山麓迁移，与当地其他民族融合，最终形成今日我们所知的裕固族。
