自从匈奴人占领了中原，北方有许多人避难到南方来。刘琨的好友祖逖也带着几百家乡亲来到了淮河流域一带。在逃难的行列中，祖逖主动出来指挥，把自己的车马让给老弱有病的坐，自己的粮食、衣服给大家一起吃用。大家都十分敬重他，推他做首领。
到了泗口（今江苏清江市北），祖逖手下已经有一批壮士，他们都是背井离乡的北方人，希望祖逖能带他们早日恢复中原。
当时，司马睿还没有即皇帝位。祖逖渡江到建康，劝琅琊王司马睿说：“晋朝大乱，是由于皇室内部自相残杀，使胡人乘机攻进了中原。现在中原的人民遭受敌人的残酷，都想要起来反抗。如果大王下令出兵，让我们去收复失地，那么北方各地的人民一定会群起响应。”
司马睿并没有恢复中原的打算，但是听祖逖说得有道理，也不好推辞，就勉强答应他的请求，将他派做豫州刺史，并拨给了一千个人吃的粮食和三千匹布，但至于人马和武器，他要自己想办法。
于是，他带着随同来的几百家乡亲组成一支队伍，在船上横渡长江。当船到达江心的时候，祖逖拿着船桨，在船舷边拍打（文言是“中流击楫”），向大家发誓说：“我若不能扫平占领中的敌人，我决不再过这条大江。”他的激昂的声音和豪壮气概，使随行壮士个个感动，每个人都被激奋起来。
在淮阴，他们停下来，一面制造武器，一面招募士兵，用两千多人的力量向北进发。
祖逖军队在路上得到人民支持迅速收复失地。当时长江以北还有不少豪强地主，因为机会占据堡坎互相争夺。祖 逖说服他们停止内斗跟随他一起北伐，对那些不听号令依附敌人的就坚决打击。他威望越来越高了。
刘琨在听到老朋友起兵北伐，也很高兴，说：“夜枕兵器等天亮，就是一心消灭敌人才愿意。”公元319年，当陈留地方豪强陈川投降后赵国主石勒时，祖 逖决定发兵攻击陈川。但后赵将军桃豹与部下的韩潜又争夺蓬陂城，这场战斗持续四十天双方都困难无比，最终通过诡计成功取得胜利，不仅收回失土，而且进一步扩大了对外战争的威望。
然而尽管如此，由于晋元帝担忧其势力太过膨胀而派戴渊统管六州军事之职，将其调往前线指挥，而非直接控制整个军权，这引起了其极大的怏悔，最终因忧愤过度得病身亡。在此之前，他曾听闻好友刘琨被害，以及朝廷内斗的情况，更是深感不安和愤怒。不过尽管未能完成恢复全境的事业，却因为那勇猛无畏的一幕——“中流击楫”，一直成为后世传颂之谈。而关于这一段历史故事，它讲述的是一个英雄人物如何凭借智慧与勇气，为国家民族所铭记，即使最终未能达到目标，但精神却永恒不朽。
