元代的军队由蒙古军、探马赤军、汉军和新附军组成。在漠北草原，蒙古人依然过着兵民合一的游牧生活，只有在战争时期才会出征。对于汉地的士兵，他们是通过从固定的户籍中签发来服役的。1252年，大规模征调时，就明确了民户与军户的区分。多数被征召到内地的人，以及金国和宋朝降将家中的成员，都被登记为军户；此外，还有一些汉族或其他民族的人也陆续成为新的军户，通常由中等阶层担任这样的职位。作为回报，他们可以免除四顷田地税，这块土地被称作“赡养士兵的地”。
这些蒙古、探马赤军和汉军（包括金国降将并入元朝政权及政府在华北地区签发的一部分），都由奥鲁负责管理。奥鲁的主要职责包括从各个家庭中征集适龄男子当兵，并及时替换那些因战死而缺员的情况。此外，它们还负责为服役人员提供必要装备，如鞍子、武器以及其他费用。
除了上述两种系统之外，元代还有一个重要的地方防御体系，即京师大都及其周边区域宿卫制度。这一制度由怯薛（侍卫）和侍卫亲王构成。而忽必烈建立后，他保留了成吉思汗创立的四怯薛轮班值勤制度，让他们轮流进入禁宫以便充当皇帝身边的护卫人员，其常驻数量超过万人，由皇帝或亲信大臣直接指挥。而侍卫亲王则用于环绕京畿进行警戒，在元朝末期先后设立三十余个这样的单位，每个单位都有自己的指挥官，其品级与万户相同，也隶属于枢密院。
镇守全国各地方面的部队布局，则主要依靠蒙古部队和探马赤部队，其中腹里的主要防务任务仍然落在这些两个力量手里，而华北、陕西等地则分别归各自地区下的蒙古或者探马赤府管辖，同时隶属于枢密院。此外，对于南方，一些用的是蒙古部队、汉族部队以及新附部队相互参差驻扎，以保障临江沿淮这片关键地域安全。一旦需要警备，这些行省下的部门就要听从行省本身所在地的大枢密院领导；平日里日常事务则归于行省，但更改防线等重大事情还是需要得到大枢密院批准知道。此类消息只有皇帝以及枢密院中的高级官员才知道，而对待行省下的小型武力，也只有最高层次的一个或几个人的信息才能了解到具体情况。
