裕固族的历史渊源可以追溯到古代的回纥部落。回纥这个名字来源于突厥语，意味着团结与联合。在公元745年，回纥建立了汗国，其版图覆盖了从贝加尔湖南侧、阴山北侧、兴安岭西侧和阿尔泰山东侧的大片蒙古草原地区。百余年的时间里，这些草原上的游牧部落逐渐聚集在回纥部下，形成了一個統一的民族——名为“回纥”的古代民族。
在这段时期内，汗国每位可汗都接受唐朝的册封，并成为唐朝的一员属国。然而，在公元840年，由于天灾与外敌的连番打击，汗国最终崩溃。随后，一部分人向西迁移，一部分则向南迁至河西走廊甘州（今张掖）地区，被称作甘州回给，即今日裕固人的祖先。这支人群在895年占领甘州城并建立独立政权，但到了公元1208年，因西夏进攻而再次分散。
其中一支退居敦煌以南、柴达木盆地以北，以罗布泊和若羌为界区域，他们自称“撒里畏兀尔”，意指黄色或沙漠，而史籍又称之为“黄头回纥”。1226年，这个民族被蒙古军队征服。而1368年，当元朝灭亡后，明朝设立安定、阿端、曲充三卫管理这一地区。
15世纪初期，叶尔羌汗国对塔里木盆地进行扩张，并推广伊斯兰教。当时信仰藏传佛教的撒里畏兀尔人为了避免冲突而东迁至祁连山麓，与当地汉藏等民族相处长久，最终融合成今天所见的裕固族。
