元代的军队体系由蒙古军、探马赤军、汉军、新附军等部分组成。在漠北草原上，蒙古人依旧维持着兵民合一的游牧生活模式，当战事发生时，他们便会迅速集合出征；平时则继续进行牧业活动。至于汉地地区，元朝的士兵主要来源于固定的户籍系统。记载显示，在蒙哥二年（1252年），大规模的户籍登记工作中，对民户和军户进行了明确区分。此外，大量被收编的金国降将及宋朝官兵家庭都被划为军户，并且随着时间的推移，还有其他族群的人也陆续被纳入到这个制度中，这些新加入的人通常担任中级官员。
在管理方面，所有这些部队都受到了奥鲁（或称“忽儿”）的监督。奥鲁负责从各个村落中的丁男中抽调人员服役，同时也负责起哨替换因故去世或逃跑者的职责，以此补充缺失的人数。此外，奥鲁还要保证那些当役士兵所需的一切装备和物资，如鞍子、马匹、武器以及其他必需品。对于蒙古和探马赤军来说，这些奥鲁是直接隶属于万户或千户领导下的，而汉地地区则由地方管辖官员来兼顾。
然而，对于南宋降将组成的大批新附军而言，没有设立类似的奥鲁管理机构。
元朝时期，将国家防御任务分成了两大部分：一是京师守卫系统，由怯薛武士和侍卫亲王构成，其中怯薛武士每天轮流进入宫廷内值班，而侍卫亲王则用于保护京畿区域直到元末才逐渐增加到三十多个小团体，每个团体都由指挥使或者率领者领导，与万户相同的地位高低，都归属于枢密院直接领导。
至于镇守全国各地的是另一套安排，其中腹里主要由蒙古人和探马赤人的部队担当。而华北、陕西以及四川等地区，则分别由各自的地方性的百姓精英组织起来，即都是由本省之长统领，其下属单位隶属于枢密院。这意味着行省内部的小型防御力量在平常情况下受到行省自己的控制，但是在紧急情况下，如调动更换防线等重大决策仍然需要枢密院审核并执行。而关于整体部队总数，只有皇帝及其枢密院中的最高级别蒙古官员才知道；至于行省内部具体情报，也只有首领才能了解其中的情况。
