裕固族的历史源远流长，能够追溯到古代强大的回纥帝国。回纥这个名字来源于突厥语中的“团结”和“联合”，他们自称为这样一个民族。在公元745年，回纥建立了自己的汗国，其领土包括了从贝加尔湖南部、阴山北部、兴安岭西部到阿尔泰山东部的一片广阔的蒙古草原地区。在汗国存在近百年的时间里，这片草原上的各游牧部落逐渐围绕着回纥人聚集在一起，最终形成了一個統一的民族——回紂族。
从那时起，回紂族就成为了一个包含草原上所有游牧部落的一个古老民族的名称。历代可汗都接受唐朝的册封，并成为唐朝的一部分国家。这段时间内，汉文化与突厥文化相互融合，对后来的裕固人的发展产生了深远影响。
然而，在公元840年，由于天灾和外敌的侵扰，这个强大帝国最终崩溃。许多人分散向西或向南迁移，其中一支在今天甘肃省张掖附近定居，被称为甘州回给，也就是今日裕固人的祖先。这支人群在895年占领了甘州城并建立了一個獨立政权。但是到了1208年，由於西夏军队的进攻，该政权也随之灭亡，而这时候，一些残留的人们退往今柴达木盆地以北、罗布泊以南区域，与当地其他少数民族共同生活，他们被称作撒里畏兀尔，即黄头回紂。
1226年，当撒里畏兀尔被蒙古军队征服之后，他们开始进入新时代。当1368年元朝灭亡后，明朝便设立了安定、阿端、曲充三卫，以管理这些地区。此後不久，一些来自塔里木盆地叶尔羌汗国的人们推行伊斯兰教，并通过武力扩张其势力，同时一些信仰藏传佛教的人们也因为种种原因而东迁至祁连山麓地区，与当地居民共同生活，最终形成今日我们所知的小众但独特且有趣的一员——即今天所说的裕固族。
