元代的军队体系由蒙古军、探马赤军、汉军、新附军等部分组成。在漠北草原上，蒙古人依旧维持着兵民合一的游牧生活模式，当战事发生时，他们便会迅速集合出征；平时则继续进行牧业活动。至于汉地地区，元朝的士兵主要来源于固定的户籍系统。记载显示，在蒙哥二年（1252年），大规模的户籍登记工作中，对民户和军户进行了明确区分。此外，大量被收编的金国降将及宋朝官兵家庭都被划为军户，并且随着时间的推移，还有其他族群的人也陆续被纳入到这个制度中，这些新加入的人通常是以中级官员身份服役。
在这种制度下，参与作战并获得赡养保障的是那些承担农业生产任务免除一定数量粮食税的地产主，即所谓“赡军地”。这些土地面积不超过四顷。
关于管理这一庞大的体系，有三种类型：蒙古、探马赤以及汉族部队中的士兵，都受奥鲁监督。奥鲁不仅负责从各个家庭抽调适龄男子作为士兵，而且还需要补充因死亡而导致缺员的情况，以及提供给当役士兵所需装备和物资。此外，每个奥鲁隶属于特定的万户或千户，而负责管理汉族部队的是管辖该区域的地方官员。
然而，对于南宋降将构成的一支新附军来说，它们没有设立这样的机构。
元代对国家安全采取了两层防线策略：一方面是京城的大都宿卫系统，由怯薛和侍卫亲王组成；另一方面是镇守全国各地省份的戍防系统。大都内有大量怯薛和侍卫亲王，他们轮流值班保护皇宫，不少人数达到万人以上，以直接受到皇帝或者高级宰相控制。而侍卫亲王则用于周边地区警戒，并直属枢密院指挥。这类单位到了末期共有三十多个，每个团队由指挥使或率使领导，其品级与万户相当（正三品）。
对于驻扎在腹里地域如华北、陕西、四川等地的是主要由蒙古骑手和探马赤骑手构成，这些地方分别由本土的地方法官管理，同时报告枢密院最高统治者。而南方，则以混编性的部队——包括蒙古骑手、汉族骑手以及南宋降将——共同驻守重点区域，如临江沿淮一带。这些建筑物在地面上归行省管辖，但是在重要事务上的调度仍然听从中央枢密院命令全局布置只有皇帝知道，而行省内部只知其首领。
