自从匈奴人占领了中原，北方有许多人避难到南方来。刘琨的好友祖逖也带着几百家乡亲来到了淮河流域一带。在逃难的行列中，祖逖主动出来指挥，把自己的车马让给老弱有病的坐，自己的粮食、衣服给大家一起吃用。大家都十分敬重他，推他做首领。
到了泗口（今江苏清江市北），祖逖手下已经有一批壮士，他们都是背井离乡的北方人，希望祖逖能带他们早日恢复中原。当时，司马睿还没有即皇帝位。祖逖渡江到建康，劝司马睿说：“晋朝大乱，现在胡人乘机攻进了中原。只要大王下令出兵，我们去收复失地，那北方各地的人民一定会群起响应。”
司马睿并没有恢复中原的打算，但是听了祖逖的话，也不好推辞，就答应他的请求，让他做豫州刺史，并派了一千个人吃的粮食和三千匹布。不过至于人马和武器，他要自己想办法。
于是，在船到江心的时候，祖逖拿着船桨，在船舷边拍打，说：“我如果不能扫平占领中原的敌人，我决不再过这条大江。”他的激昂声调和豪壮气概，使随行壮士个个感动，一人人激奋。
到了淮阴，他们停下来一面制造兵器，一面招兵买马，就向北进发了。祖逖领导军队一路上得到人民支持，不久就收复了许多失地。他说服地方豪强停止内争跟随他一起北伐，对不听号令依附敌人的，就坚决打击。他威望越来越高。
公元319年，陈留地方豪强投降后赵国主石勒，被祖逖决定发兵进攻。石勒派五万援军，被打得大败。不久后赵将领桃豹与部下的韩潜又争夺蓬陂城。这场战斗持续四十天，但双方都发生困难，最终由晋营运送泥土而非米粮诱使赵营放弃围城，而趁其疲劳时偷袭截断其补给线，从而迫使桃豹撤退。
尽管如此，由于政治原因最终在病痛之下离开世间，这位英雄名声远扬，被后代传颂为英雄人物。而那一次在长江之上的誓言“若不能扫除占据中央的大敌，便不会再次踏足此岸”，成为了历史上著名的一幕，为我们展示了一位伟大的战略家与勇敢者的形象，以及在逆境中的坚定信念与无畏斗志。
