元代的军队体系由蒙古军、探马赤军、汉军、新附军等部分组成。在漠北草原上，蒙古人依旧维持着兵民合一的游牧生活模式，他们在战争时期出征，在平时则继续进行牧业活动。至于汉地地区，元朝的士兵来源主要是从固定的户籍中抽调。例如，1252年的大规模征兵行动中，便明确了将民户和军户分开。这时候，大多数被编入大汗旗下的蒙古人以及金国和宋朝降卒的家庭都被登记为军户。此外，还有不少汉族或其他民族的人口也逐渐被纳入新的一线军事力量，并通常由中级官员担任。这些士兵可以免除四顷田地上的税收，这块土地就称作“赡养土地”。
蒙古、探马赤及汉族（包括金国降卒并归顺于元朝政府统治华北签发的部队）中的所有这类士兵，都由名为奥鲁的人物来管理他们。奥鲁负责起草当年的役男供役，并且在役男死亡后迅速替换以补充缺额，以及按时为那些服役的人提供装备和武器等必需品。
而关于奥鲁，它们隶属于万户或千户领导之下，而来自南宋降卒所组成的新附部队没有设立这样的机构。
此外，元代还有一套严密组织好的防御系统，其中包括两大部分：一种是保护首都的大都及其周围区域，这个防御体系主要由怯薛与侍卫亲王构成；另一种则是镇守全国各地，这些地方性的防御单位通常由直辖于皇帝或者亲信高级官员指挥。
怯薛是一种特殊类型的小型步骑混合部队，由皇帝直接控制，他们每天轮流值班，以保障宫廷安全。而侍卫亲王则主要用于护卫京畿地区，其组织结构比万户府要高一级，并且隶属枢密院。这一制度一直持续到元朝末年，当时形成了三十多个这样的卫戍单位，每个单位都是一个指挥官团，可以与万户府相媲美。
对于镇守诸方面的情况来说，从内陆到边疆，一切重要战略位置基本上都是由蒙古骑手和探马赤骑手共同担当。在华北、陕西以及四川等关键区域，被分配到的这些精锐部队，则报告给各自的地理划分下的都万户府（即总帅府），其最高层次则向枢密院汇报信息。
最后，对于南方尤其是临江沿淮这个战略要冲区，其防务责任分别落在了不同的武装力量身上，其中包括了来自不同文化背景的人口，但最终还是建立了一套行省内部非常严格的命令链条，即警觉状态下受行省枢密院管控；平常日子里，则交给行省本身处理。但无论如何，只有极少数最高层级别的人才知道整个国家所拥有的武力实力全貌，而只有那些掌握最高权力的蒙古贵族才能了解相关细节。此外，对于具体地域内拥有多少人员，也只有第一线指挥者才会知晓详细情况。
