元代的军队由蒙古军、探马赤军、汉军和新附军组成。在漠北草原，蒙古人依然过着兵民合一的游牧生活，只有在战争时期才会出征。对于汉地的士兵，他们是通过从固定的户籍中签发来服役的。1252年，大规模征调民户时，就已经明确了区分农户和士兵之间的差异。在内地，大多数被收编的人家，无论他们是蒙古人还是金国或宋朝降将，都被登记为士兵；此外，还有一些汉族或者其他民族的人也陆续成为新的士兵，这些人通常都是由中等户充当。这些士兵可以免除四顷土地上的税赋，这部分土地称作“供养军地”。
管理这些蒙古、探马赤军和汉军（包括金国降将以及元政府在华北地区签发的部队）的，是名为奥鲁的人员。奥鲁负责起草应征入伍的人员，并且替换那些因故不能继续服役的人员，以补充部队中的空缺。此外，奥鲁还负责按照规定，为每位服役人员准备必要的装备，如鞍子、马匹以及其他物资。此类管理工作属于万户或千户之下进行，而对于新附来的南宋降将，则没有设立这样的机构。
元朝时期，国家防御系统主要分为两个部分：一方面是守卫首都的大都及其周边区域，即宿卫系统；另一方面则是镇守全国各个地方的地方防御系统。这两大体系分别由怯薛和侍卫亲王构成。当忽必烈建立自己的政权后，他保留了成吉思汗创立的一套制度，即四怯薛轮流进入宫廷服务，每天轮班值班，以保护皇帝安全。这支团队常驻于宫廷附近，由皇帝本人或其信任的大臣直接指挥。而侍卫亲王则用于环绕京畿地区巡逻，在元朝末期，一共设置了三十多个这样的单位，每个单位都设有都指挥使或者率使，其职级与万户相似，隶属于枢密院。
至于镇戍诸部力量布局，在腹里主要由蒙古骑兵和探马赤骑兵担当。而华北、陕西及四川等地，则由各自的地方性的蒙古官府统领，其中包括万户府（即元帅府），并且隶属于更高层次的事务部门——枢密院。在南方，以蒙古骑兵、汉族武装、新附来的南宋遗臣共同担任警戒任务，而重点防御的是临江沿淮地区。此外，对于行省所辖下的所有部队，无论是在战事紧急还是平时日常管理上，都需要行省枢密院来统筹协调。但无论如何，在重要决策如调动更换防线等问题上，都需得到最高层——即皇帝及枢密院领导人的批准。整个帝国境内武力总数，只有极少数几个人知道，那就是皇帝本人以及一些高级别的 蒙古官员。而行省内部关于这方面的情况，也只有首领那几个知情者才能了解到详情。
