裕固族的历史渊源可以追溯到古代的回纥部落。回纥这个名字，意为“团结”和“联合”，是他们自称的名称。在公元745年，回纥建立了自己的汗国，其疆域涵盖了今天蒙古国的一部分草原地区。在汗国存在期间，一些游牧部落逐渐与回纥融合，最终形成一个统一的民族群体。
在百余年的时间里，回纥汗国与唐朝保持着良好的关系，并接受唐朝册封成为其属国。不过，在公元840年，由于天灾和外敌的连续打击，这个国家最终崩溃。一些分支向西迁徙，而另一些则南下到了河西走廊，被称为甘州回给，这就是裕固人的祖先。
这些人在895年占领了甘州城并建立了一個独立政权，但到了1208年，他们政权被西夏攻破后四散奔逃，其中一部分退往敦煌以南、柴达木盆地以北地域，并自称“撒里畏兀尔”。由於他們東遷至若羌一帶，因此又被稱為「黃頭回紮」或「黃」。
1226年，撒里畏兀尔的人民被蒙古军队征服，而1368年，当元朝灭亡时，他们生活在明朝设置的一个安定、阿端、曲充三卫之内。
15世纪初期，当叶尔羌汗国向东扩张并推广伊斯兰教时，信仰藏传佛教的撒里畏兀尔人也跟随他们迁移至祁连山麓，与当地汉藏等民族共同生活，最终形成今日所见到的裕固族。这段历史证明了裕固族是一个多文化背景下的民族群体，他们通过长期相互融合而成为了现在这一大家庭。
