裕固族的历史渊源可以追溯到古代的回纥部落。回纥这个名字来源于突厥语，意味着“团结”和“联合”，他们自称为这样一个民族。公元745年，回纥建立了自己的汗国，其领土涵盖了从贝加尔湖南至阴山北、兴安岭西及阿尔泰山东的广阔蒙古草原地区。在汗国存在接近一百年的时间里，这片草原上的各游牧部落逐渐围绕着回纥部聚集，并最终形成了一支统一的回纥族。
在汗国期间，每位可汗都接受唐朝册封，成为唐朝的一个属国。这段时期持续直至公元840年，当时由于天灾和外敌压力导致汗国崩溃。随后，一些部众分散向西、向南迁徙，其中一部分沿弱水流域南下，抵达河西走廊的甘州（今张掖）地区，被称作甘州回给，也就是日后的裕固人祖先。这支曾经属于回纥人的势力，在895年占领甘州城，并建立了独立政权。
然而到了公元1208年，由于遭受西夏军队的攻击，这个政权也迎来了覆灭。一部分撒里畏兀尔人退往敦煌以南、柴达木盆地以北区域，即罗布泊与若羌之间，他们自称为“撒里畏兀尔”，汉文史籍又将其称作“黄头回纥”。
接着，在1226年的某个时候，这些撒里畏兀尔人被蒙古军队征服，而在1368年当元朝灭亡并由明朝取代后，该地区设立了安定、阿端、曲充三卫。
15世纪初期，当叶尔羌汗国向东扩张并推广伊斯兰教信仰时，一些信奉藏传佛教的撒里畏兀尔人开始向东迁移，并与一些来自关外蒙古部落的人一起迁移到祁连山麓。当这些不同文化背景的人们长时间共同生活，最终形成了一群新的居民——即今日所见到的裕固族。
