裕固族的历史源远流长，能够追溯到古代强大的回纥帝国。回纥这个名字来源于突厥语中的“团结”和“联合”，他们自称为这样一个民族。在公元745年，回纥建立了自己的汗国，其领土包括了从贝加尔湖南部、阴山北部、兴安岭西部到阿尔泰山东部的一片广阔的蒙古草原地区。在汗国存在近百年的时间里，这片草原上的各游牧部落逐渐围绕着回纥人聚集在一起，最终形成了一個統一的民族——回紂族。
从那时起，回紂族就成为了一个包含草原上所有游牧部落的一个古老民族名称。每一位可汗都接受唐朝的册封，并成为唐朝的一部分属国。
然而，在公元840年，由于自然灾害和外敌入侵，汗国最终崩溃。其余的人们分散向西和向南迁徙，一些人前往今张掖市甘州地区，与当地居民融合，这就是后来的裕固人的祖先。当这些人的政权在895年占领甘州城并建立独立政府之后，他们被称作甘州回给。
随着时间的推移，当他们在1208年遭遇西夏军队进攻时，他们再次分散四处逃亡，其中一些人退至敦煌以南、柴达木盆地以北，从罗布泊到若羌一带定居，并被称为撒里畏兀尔或黄头回紂，因为汉文史料中对他们有这样的描述。
1226年，当蒙古军队征服了撒里畏兀尔时，他们的地位也随之改变。而到了1368年，当元朝灭亡并由明朝取代后，该地区设置了安定、阿端和曲充三卫来管理这块土地。
15世纪初期，由于叶尔羌汗国向东扩张并推行伊斯兰教，同时信仰藏传佛教的撒里畏兀尔人们东迁到了祁连山脚下与当地其他民族共同生活，最终演变成了今日所见到的裕固族。这段历史过程中，他们与周边其他民族相互影响，最终形成今天我们所知晓的裕固族文化特征。
