东晋时期，孝武帝初年，由于前秦的威胁，朝廷颁布诏书寻求能征善战的将领来镇守北方。谢玄因其才能被任命为建武将军、兖州刺史，并受命监管江北诸军事和广陵相。他的领导下，徐（治京口）和兖（治广陵）地区的人们纷纷响应入伍，因为这些地方聚集了许多来自北方的侨民，他们多是勇猛有战斗经验。
谢玄委托刘牢之担任参军，他常率领精锐部队作为前锋，在无数战役中取得了胜利。他在太元四年加上了徐州刺史一职，也就是说他负责镇守京口地区。这片区域因此得名“北府”，而这支由谢玄组建训练的军队也就称为“北府兵”。
在淝水之战中，刘牢之与其他将领共同指挥北府兵发挥了关键作用。此后，他们继续向前推进，最终收复了一些失地。在安帝隆安元年的第一年，王恭试图起兵反叛，但最终失败了；第二年，他再次举兵，但这次却遭到了司马刘牢之及其部下的反击。
随着时间的流逝，这支曾经强大的军队逐渐分裂，一部分成为割据一方的地方势力，而另一部分则参与到更多内乱中。最终，只有刘裕成为了唯一一个能够巩固自己的权力的东晋统治者，而非原来意义上的北府兵成员。
