元代的军队体系由蒙古军、探马赤军、汉军、新附军等部分组成。在草原上，蒙古人依旧维持着兵民合一的游牧生活，只有在战争时期才会集体出征。至于汉地，则是通过从固定户籍中抽调士兵来构成元朝的军队。1252年，大规模进行户籍登记时，明确区分了民户和军户。在内地，大多数被招募的蒙古人以及金国和宋朝降将家中的成员，都被编入了作为新签约士兵的人口登记；此外，还有一些其他民族的人口也陆续加入到了这个系统中，他们通常都是从更低级别的人群中选取，以充实这一体系。
这些不同的部队，如蒙古、探马赤军和汉族（即金国降将）都由奥鲁管理。奥鲁负责起草当年的役夫，并且能够替换那些去世或失踪的役夫以补充缺员。此外，奥鲁还负责为当年的役夫提供所需物资如鞍子、武器及其他装备。而对于 蒙古与探马赤軍来说，这些工作归属于万户或千户之下，而对于汉族来说，由管辖区域内的官员兼任管理。
而新附軍，即南宋降将则没有设立这样的制度。
元代在防卫方面主要分为两个系统：一是京师的大都城堡守护系统；二是镇守全国各个地区的防御系统。大都城堡守护由怯薛和侍卫亲王组成。而忽必烈建立后，他保留了四怯薛轮番侍候皇帝制，用他们保护禁宫并形成强大的警卫力量，有常备人员超过万人，并直接受皇帝或者亲信大臣指挥。侍卫亲王则用于环绕京畿地区进行巡逻，在元末曾经设置三十余个卫队，每个卫队设有指挥使或者率领者，其品位相当于万户（正三品），隶属于枢密院。此外，一些色目人的战斗力很强的一部分，被编入到这支亲王团伍中。
至于镇守诸县的地方防御，那里主要使用的是蒙古骑兵与探马赤骑兵。在华北、陕西及四川等地，由各地方性的都万府统领，其中隶属枢密院。在南方，则是由蒙古骑兵、汉族骑兵以及新附骑兵共同驻扎，重点防御沿江淮河流域区域。当需要紧急调动时，则由行省枢密院统一命令；平日里则行省处理日常事务，但关键决策仍然受枢密院控制。此外，全局性的总数只有皇帝及其枢密院高层知道，而行省内部，也只有首领才能知晓其具体内容。这样的机制保证了元朝对整个国家安全保持高度关注与有效控制。
