裕固族的历史渊源可以追溯到古代的回纥部落。回纥这个名字，来源于突厥语中的“团结”和“联合”，是他们自称之名。在公元745年，回纥部建立了自己的汗国，其版图涵盖了从贝加尔湖南至阴山北、兴安岭西至阿尔泰山东的大片蒙古草原地区。在汗国存在接近一个世纪时期，这个区域内各游牧部落逐渐聚集成一体，以回纥为核心，形成了统一的民族实体——回纥族。
在与唐朝保持册封关系的情况下，汗国历经多次可汗统治。但随着公元840年的天灾和外敌威胁，汗国最终崩溃。分散的部众中，一部分向西迁徙，一部分向南迁移，其中一支沿着弱水流域南下，在今张掖附近定居，被称作甘州回给，即后来的裕固人祖先。这支退往甘州城并建立独立政权，从895年起开始有所作为。
然而，在1208年，当甘州回纥政权被西夏军队攻破后，该政权瓦解。其中一部分部众退守敦煌以南、柴达木盆地以北地域，并且向罗布泊及若羌方向扩展，他们自称为撒里畏兀尔，即含义为“黄头”的民族，因此又被史籍记载为黄头回纥。
1226年，这些撒里畏兀尔人遭到了蒙古军队征服，而1368年的元朝灭亡之后，再次见证了明朝在当地设立安定、阿端、曲充三卫的地方管理制度。
15世纪初期，由于叶尔羌汗国对塔里木盆地地区的扩张以及推广伊斯兰教信仰，以及长时间与汉藏等民族共同生活融合，最终导致了一批信奉藏传佛教的人们东迁至祁连山麓边缘，与当地其他蒙古群体共融形成今日裕固族共同社区。
