元代的军队体系十分复杂，包括蒙古军、探马赤军、汉军、新附军等不同组成。蒙古人在漠北草原上依然维持着兵民合一的游牧生活，当战争爆发时，他们便会迅速出征；平时则聚集牧养。在汉地，元朝采取从固定的户籍中签发士兵的方式进行管理，从1252年起，便明确了区分民户和军户。被征服的金国降将以及进入内地的大多数蒙古人及金、宋降将之家，都以军户身份被记录。而除此之外，还有许多汉族或其他各族的人也陆续成为新签约的军户，大多数由中级官员充当。
这些蒙古、探马赤军和汉軍（主要是金国降将）都由奥鲁进行管理。奥鲁不仅负责从各个家庭中抽调丁男作为士兵，同时还要监管那些替代因故去世士兵承担义务，以补充缺员。此外，奥鲁还需要为每次入伍的人准备骑具、武器和其他必需品。这些任务通常隶属于万户或者千戶下属，而对于汉軍来说，由管辖地区的民政官兼任。
然而，对于南宋降将所组成的“新附軍”，并没有设立这样的机构。
元朝在防卫方面实施了两大系统：一是京师（大都）的宿卫系统，主要由怯薛与侍卫亲王构成；二是在全国各地镇守的地方防御系统。这两种制度共同构成了一个庞大的国家安全网络。在忽必烈建立中央统治后，他保留了成吉思汗创立四怯薛轮番侍候皇帝制，并且使用他们来保护禁宫区域，这些武士数量达到上万，由皇帝直接指挥。此外，还有专门用于环绕京畿地区护卫的是侍卫亲王，他们可以直达正三品高位，并且隶属于枢密院。
至于镇守诸地方部队，其布局主要依靠蒙古与探马赤两个力量。在华北、陕西及四川等重要区域，则是由各自的地理位置下的蒙古或探马赤的大帅府统领，并受枢密院直接领导。而南方则采用混合部队，如蒙古、新附及部分安插在华北已有的战力较强色目人部队相互参差驻扎，以确保对临江沿淮地区更好的防御能力。
行省中的小型团体虽然平日里归行省处理，但关键时刻如调动更换防线等事宜仍然需要枢密院指令协助处理。不过值得注意的是，只有皇帝和枢密院中的最高级别 蒙哥官员知道全面的部署情况，而行省内部只有一部分知情者掌握相关信息。
