元代的军队由蒙古军、探马赤军、汉军和新附军组成。在漠北草原，蒙古人依然过着兵民合一的游牧生活，只有在战争时期才会出征。至于汉地，元朝则通过从固定的军户中签发士兵来维持其武力。据记载，在蒙哥二年（1252年），当局进行了大规模的籍户，并明确区分了民户与军户。
对于被纳入内地的大多数蒙古人以及金国和宋朝降将，他们通常都以“农丁”身份被编入到称为“赡军”的制度中，这意味着他们可以免除四顷土地上的税收。此外，还有一些来自各个民族的人也陆续被招募成为新的一批农丁。这群体中的部分成员则需要服役，以补充缺员并支持战事。
这些不同的部队——包括由奥鲁管理的蒙古、探马赤和汉族部队——都是通过一个名为奥鲁的人物来组织和管理的。奥鲁负责起草新的士兵，以及替换那些因病或死亡而无法继续战斗的士兵。他还负责提供必要装备给服役中的士兵。
尽管如此，不同地区对奥鲁机构存在差异：某些是直接隶属于万户或者千户，而另一些则由管辖区域内的官员兼职管理。而南宋降将所组成的新附军并没有设立这样的系统。
元朝在防御方面主要分成了两大体系：首先是守卫京城的大都及其宿卫系统；其次是镇守全国各地戍防系统。宿卫部门主要由怯薛（侍女）和亲近皇帝的大臣构成，而忽必烈建立后保留了原来的制度，使得这些宫廷侍从能够轮流进入禁苑服务，常驻人员超过一万，由皇帝或亲信高级官员直接指挥。大都附近还有专门用于保护地方安全的小型部队，其领导者品级相当于万户，并隶属于枢密院。
另一方面，对于镇守全国其他地区的是更多以蒙古人及探马赤人的力量为主。这两种部队在华北、陕西等重要省份下属的是各自的地方法官，比如都元帅府，它们也归属于枢密院。但是在南方，如临江沿淮等关键边境地区，则是由不同种族混合使用 蒙古人、汉族人以及南宋残余势力的力量共同构成。行省下的这些团体虽然平日里受行省管辖，但在调动更换防线等紧急情况下仍需听从枢密院指令。一旦决定调动，一切行动都会受到最高层掌控，即使是在最深层次内部，也只有知情者才能了解详细情况。
