元代的军队由蒙古军、探马赤军、汉军和新附军组成。在漠北草原，蒙古人依然保持着兵民合一的游牧生活，当战争爆发时，他们会迅速集合出征。然而，在汉地，元朝采取了一种更为严格的征兵制度，即从固定的人口户中抽签。1252年，蒙哥二年壬子，大规模征兵时已经明确区分了民户和军户。在内地，大多数被编入元朝的 蒙古人以及金国和宋朝降将家中的男性，都被登记为军户，并免除四顷土地上的税收，这些土地被称作“赡军地”。
这三个类型的士兵都由奥鲁来管理。奥鲁主要负责从各个家庭中招募适龄男子服役，并替换那些因战死而缺员的士兵。此外，它们还负责为服役的人员提供必要装备和物资。这些士兵在不同的领导下服役，其中一些是隶属于万户或千户，而其他则是由管辖地区的地方官员管理。
至于新附军，由于他们是在南宋末年投降元朝，所以并没有设置奥鲁。
在元代，国家的防御力量主要分两大部分：一方面是守卫首都的大都及其宿卫系统；另一方面是镇守全国各地的小镇戍防系统。大都附近有两个重要单位：怯薛（一种高级武官）部队与侍卫亲王府部队构成了宿卫力量。而忽必烈建立起统治后，他保留了成吉思汗创立的一套轮番值班制，用以保护皇宫周围。这两支部队总共有上万人，是直接受皇帝或亲信大臣指挥。
另外，还有一支名为侍卫亲王府部队，他们负责环绕京畿进行警戒。当到了元朝末期，这里设立了三十多个这样的部门，每个部门都是由一个率使或者都指挥使领导，其职位等同于万户（正三品），隶属于枢密院。此外，由色目人组成的一些精锐团体也被编入侍卫亲王府，以增强其战斗力。
对于边疆地区来说，如华北、陕西、四川等地，则主要依靠蒙古及探马赤軍维护安全。这两种部队通常归属某个地方性的蒙古将领如"都万户"或"行省总帅"领导，同时也是枢密院直属。但对于南方尤其是临江沿淮区域，则需要更多样化的手段来进行防御，比如调动来自不同背景如蒙古、汉族、新附等各种民族的人才。不过，不论何时何刻，对于哪些具体地点驻扎着多少士兵，只有皇帝本身以及枢密院里的最高级别官员才知道，而行省内部关于这些事务，也只限于知晓其中最顶层决策者的信息。
