元代的军队体系十分复杂，包括蒙古军、探马赤军、汉军、新附军等多个组成部分。在漠北草原上生活的蒙古人依旧保持着兵民合一的游牧生活方式，当战争爆发时他们会出征，而平时则聚集在一起进行牧业生产。至于汉地地区，元朝招募士兵主要通过从固定户籍中抽签的方式进行。在蒙哥二年（1252年）的大规模征税过程中，明确了民户和军户的区分。进入内地的大多数蒙古人以及被收编的金国和宋朝降将家庭，都被登记为军户。此外，还有一些汉族或其他民族的人口陆续被新纳入作为軍戶，其中一般由中层官员担任。
这些蒙古、探马赤军和汉军中的士兵都是由奥鲁来管理。奥鲁负责起用当地丁壮服役，并及时补充因战死而缺失的人员，以及保证服役士兵得到所需物资如鞍子、武器等。这些管理机构隶属于万户或千户下属，而汉族人的奥鲁则由管辖区域内的地方官员兼管。而南宋降将组成的新附軍并没有设立这样的机构。
元代对国家安全构成了双重防御系统：一是京师（大都）的宿卫体系，由怯薛和侍卫亲王构成；二是镇守全国各地的镇戍体系。这两者相互支持，以确保国家安全。一方面，怯薛与侍卫亲王轮流值班，在皇宫内部执行护卫任务；另一方面，侍卫亲王用于环绕京畿地区巡逻保护，这种制度直到元朝末期才逐渐形成，并且有三十余个这样的团体，每一个团体都设有指挥官，其品级与万户相当，同时隶属于枢密院。此外，对于色目人中的优秀战士，他们往往会被编入侍卫亲王团伍。
镇守诸郡县之下的布局，则以蒙古部落成员及其后裔以及探马赤部落成员为主力。华北、陕西、四川等地方则由各自的地理位置统领，如广义府下的 蒙古部落家族领导者也直接受枢密院调遣。而在南方，以蒲鲜乃毗律支（即突厥）、尉迟氏、高昌人等族群混合而成的小型部队驻扎，这些部队主要分布在临江沿淮地区以防御敌进。
至于行省内部的事务管理权归行省所有，但对于调动更换或者重要事务仍然需要枢密院批准。不仅如此，即使是全面的总数信息，也只有皇帝本人或者枢密院中的高级官方才能掌握，而行省内部同样只知道首领们所掌握的情报。这就意味着整个国家的武装力量结构非常复杂且严格控制，只有极少数最高级别的人才能够全面了解整个国家的情况。
