自从匈奴人占领了中原，北方有许多人避难到南方来。刘琨的好友祖逖也带着几百家乡亲来到了淮河流域一带。在逃难的行列中，祖逖主动出来指挥，把自己的车马让给老弱有病的坐，自己的粮食、衣服给大家一起吃用。大家都十分敬重他，推他做首领。
到了泗口（今江苏清江市北），祖逖手下已经有一批壮士，他们都是背井离乡的北方人，希望祖逖能带他们早日恢复中原。当时，司马睿还没有即皇帝位。祖逖渡江到建康，劝司马睿说：“晋朝大乱，现在胡人乘机攻入了中原。只要大王下令出兵，我们去收复失地，那北方各地的人民一定会群起响应。”
司马睿并没有恢复中原的打算，但是听了祖逖的话，也不好推辞，就答应他的请求，让他做豫州刺史，并派了一千个人吃的粮食和三千匹布。不过关于人马和武器，他要自己想办法。
祖逖带着随同他来的几百家乡亲，一路上制造兵器、招募士兵，最终聚集了两千多人的队伍，就向北进发。他在长江之滨的一场战斗里，用船桨拍打船舷，对众将士发誓：“若不能扫平占据中原敌军，我决不再过这条大江。”他的豪壮气概激励了所有随行人员。
经过一系列艰苦卓绝的战斗和策略性的胜利，不仅收复了黄河以南的大片土地，还使得后赵军队陆续投降于晋朝。最终，被封为镇西将军，但在其之后，由于晋元帝对其势力发展感到不安，便派戴渊作为征西将军统管六州，这让原本辛勤劳作而未被重用的祖逖感到不满，最终因病去世。在遗下的记忆里，以“119 祖逖一马当先”形象永远留存，为后世传颂。而那场在泗水边上的誓言——“我决不再过这条大江”，成为了历史上的一个著名故事，在讲述英雄豪杰时常常被引用。
