裕固族的历史源远流长，能够追溯到古代的回纥部落。回纥这个名字来源于突厥语，意为“团结”和“联合”，是他们自称的名称。在公元745年，回纥建立了自己的汗国，这个汗国覆盖了从贝加尔湖南部到阴山北部、兴安岭西侧和阿尔泰山东侧的大片蒙古草原地区。在接下来的近一个世纪里，这片草原上各游牧部落逐渐围绕着回纥部落形成了一种共同体，最终成为统一的回纥民族。
在这段时期内，回纥汗国与唐朝保持着良好的关系，他们的一些可汗接受唐朝的册封，并作为唐朝的一个属国存在。然而，在公元840年，由于天灾和外敌的侵扰，汗国最终崩溃。随后，一些分支向西或向南迁徙，其中一支沿着弱水河流南下至今张掖市所在地，被称为甘州回给，即后来的裕固族祖先。这股人群在895年占领了甘州城，并建立了自己的政权，但到了1208年，因为受到西夏军队进攻，该政权也告瓦解，其余的人们四散奔逃。
其中一部分人退往敦煌以南、柴达木盆地以北区域，以罗布泊及若羌等地为界域，并自称“撒里畏兀尔”，意思是黄色的意志，因此在汉文史籍中又被称作“黄头回纥”。1226年的蒙古征服之后，以及1368年的元朝灭亡，再到明朝设置安定、阿端、曲充三卫之后，这个地方再次经历了一系列变化。
15世纪初叶尔羌汗国对塔里木盆地进行扩张，并推广伊斯兰教，而信奉藏传佛教的撒里畏兀尔人则选择东迁至祁连山脚下的地区，与当地其他民族如汉藏等共同生活，最终融合成今日我们所知的裕固族。这段历史揭示了裕固族如何通过与周边不同民族共处而逐渐形成其独特文化和身份。
