裕固族的历史源远流长，能够追溯到古代强大的回纥帝国。回纥这个名字来源于突厥语中的“团结”和“联合”，他们自称为这样一个民族。在公元745年，回纥建立了自己的汗国，其疆域覆盖了今天的蒙古草原，从贝加尔湖南至阴山北，兴安岭西至阿尔泰山东。这片广阔的土地上，一百多年的时间里，以回纥部为中心，一些游牧部落逐渐融合成一个统一的大族——回纥人。随着时间的推移，这个名词不再仅指单一的一个部落，而是代表了一整个包含各游牧部落的大型民族。
在汗国存在期间，每位可汗都接受唐朝册封，并成为唐朝的一员附属国家。但是在公元840年，由于天灾和外敌不断侵扰，汗国最终崩溃。一些分支向西、向南迁徙，其中一部分到了今日甘肃张掖地区，被称作甘州回给，也就是后来的裕固人的祖先。这支人群在895年占领了甘州城，并建立了自己的独立政权。然而，在1208年，由于西夏的进攻，这个政权也最终土崩瓦解，最终有几支人群退往敦煌以南、柴达木盆地以北的地方，他们被称作撒里畏兀尔，即黄头回纥。
1226年，这个区域被蒙古军队征服。而1368年，当元朝灭亡并由明朝取代时，该地区设立成了安定、阿端、曲充三卫。
15世纪初期，叶尔羌汗国从塔里木盆地扩张，它通过武力传播伊斯兰教，同时信仰藏传佛教的人们如撒里畏兀尔也开始向东迁移，与其他一些蒙古部落共同抵达祁连山麓。当这些人们与当地汉藏等民族共同生活很多年后，他们逐渐形成了一个新的共同体——现代社会中的裕固族。
