元代的军队体系十分复杂，包括蒙古军、探马赤军、汉军、新附军等多个组成部分。在草原上，蒙古人依然维持着兵民合一的游牧生活，当战争爆发时，他们会迅速出征，而平时则继续进行牧业活动。至于汉地地区，元朝采取了一种固定的户籍制度来征集士兵，即从既有的军户中抽调到服役。如在蒙哥二年（1252年）的大规模徵兵行动中，就明确区分了农户和军户，并且将被收编的金国降卒及其家属以及其他族群的人们都划为正式的军户。
这些由奥鲁管理的小型单位负责起草当年的应征士兵，以及填补因战死或逃跑而产生缺员的情况。同时，它们也负责提供必要的装备和物资给这些服役者。此外，还有一些由不同部落或民族组成的小型单元陆续被纳入新签约者的行列，这些人通常是由地方官员直接管理。
除了这两大系统之外，元代还设有一个特殊机构——宿卫系统，其主要任务是保护首都大都不受侵扰。这一系统包括了怯薛团体和侍卫亲王两部分，其中怯薛团体是通过轮流值班制来保证皇宫安全，而侍卫亲王则专门用于防御京城周围区域。当忽必烈建立起他的统治后，他保留了成吉思汗创立的一套四怯薛轮番制度，并将其作为皇帝直辖的一支力量。而侍卫亲王，则是在各个方向设置起来，用以增强对首都的大力保护。
此外，由于色目人的战斗力较强，一部分他们被编入到了侍卫亲王之中，以增强这一部队的实力。在镇守全国各地方面，则主要依靠的是蒙古和探马赤两个主要武装力量，其具体指挥权归属于各自的地方总管府，并且隶属于枢密院。而在南方，则形成了一种混合部署，其中包含了蒙古、汉族以及新降伏来的南宋士兵，这些部队分别驻扎在临江沿淮等关键地区，以防御来自海上的威胁。整个国家的武装力量情况，只有皇帝及枢密院中的高级官员才完全清楚，而对于行省下的领土防务，也只有最顶层的人才掌握详细信息。
