裕固族的历史渊源可以追溯到古代回纥部落，回纥意为“团结”、“联合”，是他们自称之名。在公元745年，回纥建立了汗国，其领土涵盖了贝加尔湖以南、阴山以北、兴安岭以西和阿尔泰山以东的广阔蒙古草原。百余年的时间里，这些草原游牧部落逐渐聚集在回纥部下，形成了一统众多部落的回纥民族。作为唐朝册封下的属国，回纥汗国历经几位可汗的统治。
然而，在公元840年，由于天灾与外敌侵扰，汗国最终崩溃。分散的游牧群体向西迁移或南下，其中一支抵达今张掖附近，被称作甘州回给，是后来的裕固人祖先。这支人的政权至895年占据甘州城并独立，而到了1208年，在西夏攻势之下，该政权再次瓦解其各部分散去，有一支退守柴达木盆地及罗布泊周边地区，并被称作撒里畏兀尔，即“黄头回纥”。
1226年，撒里畏兀尔遭蒙古军队征服；1368年，当元朝覆亡而明朝成立时，该地区设立安定、阿端、曲充三卫，以此管理当地事务。
15世纪初期，当叶尔羌汗国扩展至塔里木盆地并推行伊斯兰教时，一些信仰藏传佛教的撒里畏兀尔人随着一些蒙古部落一起迁移到祁连山麓，与当地汉藏等民族共同生活，最终融合成今日所见裕固族。
