元代的军队体系十分复杂，包括蒙古军、探马赤军、汉军、新附军等不同组成。蒙古人在漠北草原上依然维持着兵民合一的游牧生活，当战争爆发时，他们会迅速出征，而平时则返回进行牧业活动。在中国本土，元朝的士兵来源主要是从固定的户籍中抽调，这种制度始于蒙哥二年（1252年），将民户和军户明确区分开来。大多数被征服的金国降卒及其他民族的人口都被编入了这两类户籍，并且还有一些汉族或其他少数民族也逐渐成为新签约的军户。
这些不同的部队都由名为奥鲁的人物负责管理。奥鲁不仅需要从每个家庭中招募适龄男子加入战斗，还要处理那些因战死而留下未满足役期年龄儿子的替补问题，以此来补充战力。此外，奥鲁还负责为当选派去作战的人员准备必需品如马匹、武器和食物等。蒙古与探马赤军所属的奥鲁则隶属于更高级别的大臣，如万户或千户；而汉族部分，则由地方官员管辖。而南宋降卒所组成的新附军并没有设置这一机构。
元朝时期，在国家安全方面，有两大系统：一个是保护首都的大都及其周边区域，即宿卫系统；另一个是镇守全国各地以防御侵袭，即镇戍系统。这两个系统分别由怯薛和侍卫亲王构成。忽必烈即位后，他保留了成吉思汗创立的一系列制度，其中包括四怯薛轮番进宫侍候皇帝的情景，这些士兵负责保护皇宫，并且有几千人，由皇帝直接指挥。在晚期，每个卫队设有自己的指挥官，其职位相当于万户（正三品），归属枢密院领导。
至于镇戍诸营，它们主要由蒙古和探马赤部队驻扎。在华北地区以及陕西、四川等地，由各自的地方性统治机构——都是万府（亦称元帅府）管理，对内则受枢密院指导。而在南方，以 蒙古、汉族以及新附部队共同驻守，重点防御江南沿淮一带区域行省下的警备力量在平常情况下受行省管理，但对于重要事务，如调动部队仍需通过枢密院协调。此外，只有极少数最高级别官员才知道整个帝国范围内所有武装力量的情况，而地方性的武装力量信息通常只掌握于当地最高层次领导者手中。
