裕固族的历史渊源可以追溯到古代回纥部落，回纥意为“团结”、“联合”，是他们自称的名字。在公元745年，回纥建立了汗国，其领土涵盖了贝加尔湖以南、阴山以北、兴安岭以西和阿尔泰山以东的广阔蒙古草原。百余年的时间里，这些草原游牧部落逐渐聚集在回纥部下，形成了一统众多部落的大型民族——即后来的回纥族。从那时起，回纥不仅成为一个民族名称，也成为了包括这些游牧部落在内的一个古老民族。
然而，在公元840年，由于天灾与外敌的共同威胁，汗国最终崩溃。各支流民向西迁徙或向南迁移，其中一部分沿着弱水河流至今张掖地区，被称作甘州回给，即日后的裕固族祖先。这群人于895年占据甘州城，并建立了独立政权，但到了公元1208年，当受到西夏进攻后，该政权也随之瓦解，最终四散分散。其中一支退守敦煌以南、柴达木盆地以北，以罗布泊及若羌为界，他们自称“撒里畏兀尔”，意思是“黄色的”，因此又被史书所记载为“黄头回纥”。
1226年，撒里畏兀尔遭受蒙古军队征服，而1368年的元朝灭亡后，一系列事件导致明朝设立三卫治理撒里畏吾尔地区。
在15世纪初期，叶尔羌汗国扩展至塔里木盆地并推行伊斯兰教，对信仰藏传佛教的撒里畏兀尔人进行了迫害，这些人们随着一些来自关外蒙古部落一起迁移到祁连山麓，与当地汉藏等民族共处长久，最终融合成今日所见的裕固族社会体制。
