裕固族的历史渊源可以追溯到古代的回纥部落。回纥这个名字来源于突厥语，意味着团结与联合。在公元745年，回纥建立了汗国，其版图覆盖了从贝加尔湖南侧、阴山北侧、兴安岭西侧和阿尔泰山东侧的大片蒙古草原地区。百余年的时间里，这些草原上的游牧部落逐渐聚集在回纥部下，形成了一個統一的民族——名为“回纥”的古代民族。
在这段时期内，汗国每位可汗都接受唐朝册封，并成为唐朝的一员属国。但到了公元840年，由于天灾和外敌的打击，加上内部矛盾激化，汗国最终崩溃。部分部众向西或向南迁徙，其中一支抵达河西走廊甘州（今张掖）一带，被称作甘州回给，即日后的裕固族祖先。这支人群在895年占领甘州城建立政权，但到了1208年，在西夏进攻下政权再次崩溃，最终各支分散至敦煌以南、柴达木盆地以北地区，以罗布泊和若羌为界，他们自称“撒里畏兀尔”，即黄色头发之意，因此被汉文史籍又称为“黄头回纥”。
1226年，当撒里畏兀尔人遭遇蒙古军队征服后，其势力开始衰退。而1368年元朝灭亡后，明朝设立安定、阿端、曲充三卫来管理这一地区。
15世纪初期，当叶尔羌汗国扩张至塔里木盆地并推行伊斯兰教时，一些信奉藏传佛教的撒里畏兀尔人随着一些蒙古部落共同迁往祁连山麓，与当地汉藏等民族长期共存，最终融合成今日所见的裕固族。
