元代的军队体系十分复杂，包括蒙古军、探马赤军、汉军、新附军等多个组成部分。在漠北草原上生活的蒙古人，他们在战争时出征，在平时则回归到游牧生活中。他们和其他族群的人民在战与和之间都保持着紧密的联系。而在中国大陆，元朝采取了一种稳定的制度，即从固定的农户中抽调士兵，这一制度自蒙哥二年开始就已经明确区分了农户和士兵。
这些被招募进来的人们，可以是金国降将或者是被征服的宋朝士兵，他们中的很多人都成了元朝的正式士兵，而一些新签约的人也加入到了这个系统中。其中一个特点是他们可以免除一定数量土地上的税收，这些土地被称为“赡养地”。
管理这些士兵的是名为奥鲁（Orto）的官员，它们负责起草当地应征入伍的人员，并且负责替换那些因为死亡而无法继续战斗的人员。此外，它们还要保证所有当选成为士兵的人获得必要的装备和物资。这些奥鲁通常隶属于更高级别的一万户或千户之下，而对于汉族部队，则由地方管辖官员兼任。
除了这一系统之外，元代还有一个专门用来保护首都的大都会城防系统。这一系统主要由怯薛（Qieche）以及侍卫亲军构成。在忽必烈建立他的政权之后，他保留了成吉思汗创立的一个制度，那就是四个怯薛轮流进入宫廷担任守卫。这一团体常驻于皇宫内，由皇帝或他信任的大臣直接指挥。而侍卫亲军则用于防御京畿地区，其规模逐渐扩大至三十余个单位，每个单位相当于一个万户府，都有自己的指挥官。
至于镇守全国各地的力量，则主要由蒙古军和探马赤军担当。华北、陕西及四川等地区，则由各地蒙古总管府统领，同时隶属于枢密院。而南方地区则以蒙古、汉族及新附部队相互授权进行驻扎，以保障沿江沿淮区域安全。当行省需要动用这些部队时，由行省枢密院统筹；但是在平日里，大多数事情还是交给行省本身处理，只是在重要事务如调动更换防线等方面，还需受枢密院指令。此外，全体武力只有皇帝及其枢密院中的蒙古高级官员才知道；而对于行省下的武力信息，只有最高层次的领导才能了解到具体情况。
