裕固族的历史渊源可以追溯到古代的回纥部落。回纥这个名字来源于突厥语，意味着团结与联合。在公元745年，回纥建立了汗国，其版图覆盖了从贝加尔湖南侧、阴山北侧、兴安岭西侧和阿尔泰山东侧的大片蒙古草原地区。百余年的时间里，这些草原上的游牧部落逐渐聚集在回纥部下，形成了一個統一的民族——名为“回纥”的古老民族群体。而这些汗国可汗都接受唐朝册封，被视为唐朝的一部分。
然而，在公元840年，由于天灾人祸和外敌入侵，汗国最终崩溃。随后，一支分离出来的流散者南下至今张掖附近，被称作甘州回给，是日後裕固人的祖先。这支人的势力在895年占领了甘州城，并建立起独立政权。但到了1208年，由于西夏的进攻，这个政权也被迫崩溃，最终各自四散。
其中一组人退往敦煌以南、柴达木盆地以北区域，与罗布泊及若羌接壤，他们自称“撒里畏兀尔”，意思是黄色的意思，因此史书又称其为“黄头回纥”。
1226年，当撒里畏兀尔被蒙古军队征服后，他们成为元朝的一部分，但到了1368年的明朝时期，这些地区设立安定、阿端、曲充三卫来管理。
15世纪初期，叶尔羌汗国向东扩张，将伊斯兰教推广至塔里木盆地，同时信奉藏传佛教的撒里畏兀尔人开始向东迁移，与当地其他民族融合，最终形成今天所见的裕固族共同体。
