元代的军队体系由蒙古军、探马赤军、汉军、新附军等部分组成。在漠北草原上，蒙古人依旧维持着兵民合一的游牧生活模式，他们在战争时期出征，在平时则回归于牧业。至于汉地地区，元朝的士兵来源主要来自固定的户籍簿中进行抽签。1248年（蒙哥二年壬子），进行了大规模的户口登记，明确区分了农户和兵户。在内地，大多数被招募进来的蒙古人以及金国和宋朝降将家族都被编入了兵户，并且他们所拥有的土地免税四顷，这些土地被称为“赡军地”。
这些不同族裔的人员，如蒙古、探马赤军和汉军，都受到了奥鲁（一个管理部门）的监督。奥鲁的职责包括从兵户中征召当兵，并负责替换因战死或其他原因而缺席的人员，以及准备服役士兵所需装备如鞍马、武器及其他物资。这些部队中的奥鲁报告给万户或者千戶，而汉軍則由管轄區域的管民官兼任。
新附軍，即南宋降將，由於其特定背景，並未設立奧魯。
元代的防衛系統可以分為兩個主要部分：第一是京師的大都宿衛系統；第二是鎮守全國各地的地方防禦系統。大都宿衛軍隊由怯薛軍與侍衛親軍構成。而忽必烈建立起來後，他保留下來了成吉思汗創立的一個四怯薛輪流侍候制度，這樣做的是用他們們輪值禁城以充當護衛侍從，有時皇帝或親信大臣直接指揮這些部隊。而侍衛親軍則用於環繞京畿地區，並在元朝末期先後成立三十多個卫队，每个卫队设有都指挥使或者率使，其品秩与万戶相当，是枢密院的一部分。此外，由於戰鬥力強，一些色目人的部隊也被編入到侍衛親軍之中。
至於地方镇戍诸般事宜，则主要是由蒙古与探马赤两种武装力量来担任责任，其中华北、陕西及四川等地区，则受到各自区域性的蒙古将领统治，他们隶属于枢密院。而南方则采取一种混合战略，将 蒙古武装、汉武装、新附武装相互参差驻扎，以此来加强对临江沿淮等区域的防御力量。这其中，行省下的镇戍诸般事务在平常日子里则归属于行省，但调动更换防线等重大决策仍然需要通过枢密院来执行。此外，全体士卒数量信息，只有皇帝和枢密院中的高级官员才知晓，而行省内部关于这一方面的情况，也只有首脑层次上的官员才会了解到。
