裕固族的历史源远流长，可追溯到古代的回纥部落。回纥这个名字来源于突厥语，意为“团结”和“联合”，他们自称为这样一个民族。公元745年，回纥建立了自己的汗国，其疆域涵盖了从贝加尔湖南至阴山北、兴安岭西至阿尔泰山东的一片广阔的蒙古草原。在接下来的几个世纪里，这个汗国成为草原上各游牧部落的中心，逐渐吸纳其他部落，最终形成一个统一的民族——回纥族。
在与唐朝的册封关系中，汗国历任可汗都接受唐朝的冊封，以此作为其国家的地位象征。然而，在公元840年的天灾人祸和外敌侵扰下，汗国最终解体。一些分支向西迁徙，一些向南而去，其中一支走到了河西走廊甘州（今张掖）的地区，被称作甘州回给，也就是裕固人的祖先。这群人在895年占领甘州城，并建立了独立政权，但直到1208年被西夏攻破后，他们四散离去。
其中一部分人退守敦煌以南、柴达木盆地以北，由罗布泊到若羌等地，他们自称“撒里畏兀尔”，即含义为“黄色的”或“沙漠中的”。因此，在汉文史籍中，他们也被称作“黄头回纥”。
1226年，当撒里畏兀尔遭遇蒙古军队时，他们最终沦为了蒙古帝国的一部分。在1368年的元朝灭亡之后，当明朝设立安定、阿端、曲充三卫时，这片土地上的撒里畏吾尔开始了一段新的生活。但是，不久之后，当叶尔羌汗国对塔里木盆地进行扩张并推行伊斯兰教时，一些信仰藏传佛教的人们不得不离开家园东迁到了祁连山麓，与当地汉藏等民族融合成今日我们所知的裕固族。
