自从匈奴人占据了中原，北方有许多人逃到南方来。刘琨的好友祖逖也带着几百家乡亲来到了淮河流域。在逃难的队伍中，祖逖主动出来指挥，把自己的车马让给老弱有病的人坐，让自己的粮食和衣服与大家一起分配。大家都十分敬重他，将他推为首领。
到了泗口（今江苏清江市北），祖逖手下已经有一批壮士，他们都是背井离乡的北方人，希望祖逖能够带他们早日恢复中原。当时，司马睿还未即位为皇帝。祖逖渡江到建康，劝说琅琊王司马睿：“晋朝大乱，是由于皇室内部自相残杀，使胡人乘机攻入中原。现在中原百姓遭受敌人的残酷，一切想要起来反抗。如果大王下令出兵，我们去收复失地，那么北方各地的人民一定会群起响应。”
司马睿虽然没有恢复中原的打算，但听从了祖逖的话，也不好推辞，只好答应他的请求，并派他做豫州刺史，提供一千个人吃的粮食和三千匹布，而关于人马和武器，则由他自己想办法。
祖逖带着随行来的几百家乡亲组成了一支队伍，在长江上横渡时，他拿着船桨，在船舷边拍打发誓：“我若不能扫平占领中的敌人，我决不再过这条大江。”他的激昂的声音和豪壮气概，使随行 士个个感动，每个人都被激奋。
在淮阴，他们停下来制造兵器并招募士兵，最终聚集了两千多名战士，然后向北进发。在路上，他们得到人民支持迅速收复失地。当时长江以北还有不少豪强地主趁乱互相争夺土地。祖逖说服他们停止内斗跟随他一起北伐，对不听命令或依附敌人的则坚决击败。他因而越来越受到人们尊敬。
公元319年，陈留地方的地主陈川投降后赵国，被石勒任命为将军。为了讨伐陈川，后赵派五万援军，被祖逖击败。此后桃豹与韩潜争夺蓬陂城四十天未分胜负双方军粮困难。一天，桃豹看到晋营运米，就派兵抢走，却被晋营截断供给，从而导致其军心动摇最终放弃阵地逃跑。
通过艰苦斗争收复黄河以南所有领土，大量后赵士兵投降于晋帜之后，不久便因病去世。这段历史成为人们传颂的一段佳话，以“119 祖逖智取敌军”见证了一位英雄人物在逆境中的英勇无畏精神。而那一次“中流击楫”的行动成了永恒的象征——对历史上的运用谋略取得胜利故事的一次经典诠释。
