裕固族的历史渊源可以追溯到古代的回纥部落。回纥这个名字，来源于突厥语中的“团结”和“联合”，是他们自称之名。在公元745年，回纥部建立了自己的汗国，其版图涵盖了从贝加尔湖南至阴山北、兴安岭西至阿尔泰山东的大片蒙古草原地区。在汗国存在接近一个世纪时期，这个区域内各游牧部落逐渐聚集成一体，以回纥为核心，形成了统一的民族实体——回纥族。
在与唐朝保持册封关系的情况下，汗国历经多次可汗，每位可汗都接受唐朝的册封，并成为唐朝的一员外交使节。然而，在公元840年的天灾和外敌侵扰中，汗国最终崩溃。随后，一部分人向西迁徙，一部分则向南流离失所，其中有一支在弱水南岸定居，他们被称作甘州回给，即今日裕固人的祖先。
895年，该支回纥人占领了甘州城，并建立了一块独立的小政权。然而，在1208年的西夏进攻下，该政权也宣告瓦解。这段时间里，一些部落退往敦煌以南、柴达木盆地以北地区，最终定居于罗布泊及若羌周边地域，他们自称“撒里畏兀尔”，汉文史料又将其称为“黄头回纥”。
1226年，当这群撒里畏兀尔人遭遇蒙古军队入侵时，他们再次面临着前所未有的挑战。而到了1368年，当元朝灭亡并由明朝取代时，这片土地上的人们开始重新组织起来，被明政府设置成了安定、阿端、曲充三卫。
15世纪初期，当叶尔羌汗国扩张至塔里木盆地并推行伊斯兰教时，这些信仰藏传佛教的撒里畏兀尔人开始向东迁移，同时一些来自关外的蒙古部落也加入他们一起迁移到祁连山脚下。在长时间与当地汉藏等民族共同生活之后，这群不同背景的人们逐渐融合成今天我们所知的裕固族社区。
