元代的军队由蒙古军、探马赤军、汉军和新附军组成。在漠北草原，蒙古人依然过着兵民合一的游牧生活，只有在战争时期才会出征。对于汉地的士兵，他们是通过从固定的户籍中签发来服役的。1252年，大规模征调民户时，就已经明确了区分农民和士兵两个不同的群体。
进入内地的大多数蒙古族人以及被收编的金国和宋朝降将家中的成员，都被登记为士兵。这类似于一种义务服务制度，其中参与者可以免除一定数量的小麦税田，这种土地被称作“赡养士兵的地”。这些士兵不仅来自于蒙古，还包括了金国降将以及在华北地区被元朝签发的一些其他民族的人员。
所有这三种类型的士兵都是通过奥鲁（即一个管理机构）进行管理。奥鲁负责起草当年的应征人员，并及时补充那些因死亡而缺席的人员。此外，奥鲁还负责为服役的人员提供所需装备和物资。这些机构隶属于万户或千户下面，而汉族人的奥鲁则由管辖该区域的地方官员兼任。
另一方面，南宋投降后形成的一支新附军没有设立这样的管理系统。
元代的防御体系主要分为两大部分：一是京师（大都）的宿卫系统，以及二是镇守全国各个地方的小站戍防系统。在宿卫体系中，有怯薛军和侍卫亲军两部分构成。忽必烈建立统治后，他保留了成吉思汗创立的一个制度，即四怯薛轮流侍候皇帝，用他们保护皇宫并作为近身护卫，这样一个团队通常超过一万人，由皇帝或亲信大臣直接指挥。而侍卫亲军则用于环绕首都 京畿地区，以保障安全，在元朝末期先后设立三十多个这样的单位，每个单位由都指挥使或率使领导，他们品秩与万户相当，是枢密院的一部分成员。
至于镇守各地的小站戍防部队，其布局主要以蒙古部队和探马赤部队为主。在华北、陕西、四川等地，由各处都万户府（也就是说是总帅府）统领并归属枢密院领导。而在南方，则有更多的是使用蒙古部队、汉族部队以及新附部队共同驻扎，以抵御来自江淮河谷方向威胁的地方势力。当需要警戒的时候，这些地方性的武装力量就由行省下的枢密院直接指挥；平常日常事务则交给行省处理，但重要决策如调动更换防线等仍然需要报告到中央枢密院进行审批。不过，不论是哪里的武装力量，只有皇帝本人或者最高级别的心腹官员知道具体情况，而对行省来说，只能了解自己的上级官吏掌握的情况。如果要查看全面的武力总数，那么只有最顶层的人才能得到准确信息，而对普通百姓来说，这些信息都是不可知晓的事实。
