裕固族的历史源远流长，能够追溯到古代强大的回纥帝国。回纥这个名字来源于突厥语中的“团结”和“联合”，他们自称为这样一个民族。在公元745年，回纥建立了自己的汗国，其领土包括了从贝加尔湖南侧、阴山北侧、兴安岭西侧到阿尔泰山东侧的大片蒙古草原地区。在汗国存在接近一百年的时间里，这个地区上各游牧部落逐渐围绕着回纥部聚集并融合，最终形成了一個統一的民族——回紇族。從那時候起，「回紇」就成為了指稱草原各游牧部落的一个广泛术语。
在公元840年，由於天災和外敵的連番打擊，汗國最終崩潰。隨後，一些分支向西或向南迁徙，其中一部分人沿著渭水南下到了河西走廊甘州（今张掖）的地區，被稱為甘州回給，也就是日後裕固人的祖先。他們在895年佔領了甘州城，並建立了一個獨立政權。但是在1208年，這個政權在西夏軍隊的進攻下崩潰，他們四散奔逃其中有一支退往敦煌以南、柴达木盆地以北，以罗布泊、若羌為界區域，他們自稱為「撒里畏兀爾」，意即「黃頭」，因此也被漢文史籍稱之為「黃頭回紇」。
1226年，撒里畏兀爾被蒙古軍隊征服，而1368年的元朝滅亡後，明朝便在撒里畏吾爾地區設立安定、阿端和曲充三衛。
15世紀初期，塔里木盆地的葉爾羌汗國東擴其領土，用武力推行伊斯蘭教信仰。而信奉藏傳佛教的撒里畏兀爾人則因長期與當地漢藏等民族共同生活而逐漸融入一個新的共同體，即今日所見到的裕固族。
