元代的军队由蒙古军、探马赤军、汉军和新附军组成。在漠北草原，蒙古人依然过着兵民合一的游牧生活，只有在战争时期才会出征。对于汉地的士兵，他们是通过从固定的户籍中签发来服役的。1252年，大规模征调士兵时，就已经明确了将民户和军户进行区分。在内地的大多数蒙古人家庭以及被收编的金国和宋朝降卒家族，都以军户身份被记录；此外，还有一些汉族或其他各族的人们陆续被招募为新的一批军户，这些通常由中等财产水平的人充当。作为回报，农耕中的这些士兵可以免除四顷税赋田地，这块土地称作“供养士兵的地”。
这三种类型的蒙古、探马赤和汉（指金国降卒并归顺于元朝政权）的部队，是由奥鲁管理。这位官员主要负责两项职责：一是从各个家庭中抽取适龄男子作为战士，并及时补充那些因死亡而缺席战斗的人员，以保证部队人员完整。一是确保按时为需要出征的人员提供骑马装备、武器以及其他必要物品。
这些不同的奥鲁系统隶属于该地区万户或千戶，而负责南宋降卒（即新附）则没有设立奥鲁机构。
元朝在防御上设有两个主要体系：一个是保护首都大都及其周围区域，另一个则是在全国范围内布防镇守。宿卫系统包括怯薛警卫团与侍卫亲王禁卫。这两支力量共同构成了皇帝直属的忠诚武力，由皇帝本人或其信任的大臣直接指挥。怯薛警卫团按照轮班制度值班，每天有超过一万名成员在皇宫附近执行任务。而侍卫亲王禁卫则用于环绕京畿地区，并且到了后期，有三十多个这样的单位，被称作“侍衛親軍”，它们相当于正三品官职，并且受枢密院管辖。此外，由于色目人的战斗力强大，一部分他们被编入侍衞親軍。
至于镇守诸如华北、陕西与四川等地的是由蒙古和探马赤各自拥有自己的驻扎点，其管理权归属于各自的地方性的 蒙古都万户府（也就是说都是统领者）。所有这些都直接听命于枢密院。而南方，则以不同的方式分配驻扎，其中涉及到更广泛地域，如临江沿淮等重要要塞地点，其防线主要依赖于众多来自不同民族但同样服役于元朝政府的小型精锐部队进行维护。当局需知晓全体部队情况，但只有少数最高级别人物——即皇帝及其手下高级官员——才能了解整个国家实力的概况。此外，对行省内部的情况，也只有首领知道相关细节。但无论如何，在关键决策上，比如调动或者更换防线，那些重大决定仍然由中央枢密院来掌控一切。
