自从匈奴人占领了中原，北方有许多人避难到南方来。刘琨的好友祖逖也带着几百家乡亲来到了淮河流域一带。在逃难的行列中，祖逖主动出来指挥，把自己的车马让给老弱有病的坐，自己的粮食、衣服给大家一起吃用。大家都十分敬重他，推他做首领。
到了泗口（今江苏清江市北），祖逖手下已经有一批壮士，他们都是背井离乡的北方人，希望祖逖能带他们早日恢复中原。当时，司马睿还没有即皇帝位。祖逖渡江到建康，对司马睿说：“晋朝大乱，是由于皇室内部自相残杀，使胡人乘机攻进了中原。现在中原的人民遭受敌人的残酷，每个人都想要起来反抗。如果大王下令出兵，让我们去收复失地，那么北方各地的人民一定会群起响应。”
司马睿并没有恢复中原的打算，但听了祖逖的话，也不好推辞，只好勉强答应他的请求，将他派为豫州刺史，并拨给了一千个人的粮食和三千匹布至于人马和武器，他自己得想办法解决。
祖逖带着随同来的几百家乡亲组成队伍，在船上横渡长江。他拿着船桨，在船舷边拍打，说：“我如果不能扫平占领中原的敌人才不再过这条大江。”他的激昂的声音和豪壮气概，让随行壮士们感动，每个人都被激发了斗志。
在淮阴停留期间，他们制造武器招募士兵，并聚集两千多名军队，就向北进发。当时长江以北还有不少豪强地主趁乱互相争夺土地。祖逖说服他们停止内斗，一起跟随他进行北伐，对抗依附敌人的就坚决制裁。因此，他在人们心目中的威望越来越高。
刘琨听到老朋友祖逖起兵后，也很高兴地说：“我夜里枕着兵器睡觉，就是盼天亮消灭敌人，现在你跑前面去了。”公元319年，当陈川投降后赵国主石勒时，祖逖决定发兵进攻陈川。但是后赵援军五万被打得大败。
接着桃豹与韩潜又争夺蓬陂城，这场战事持续四十天，最终双方因缺乏粮草而陷入困境。一次偶然间，由于故意放弃米袋引诱赵营抢米，而将其截断，从而使赵营断粟无继，最终导致桃豹撤退。而此举正是由早已探知情报并设伏准备截断之下的智谋策略所致。这场胜利加深了人民对他的信任与支持，同时也显示出他作为领导者的英勇与智慧。
尽管如此，当晚晦暗之际，他竟然因忧愤成疾而去世。在豫州，无论男女老幼，都如丧亲者一般悲痛欲绝。这位英雄虽未能完成恢复失土的事业，但那“击楫”的精神仍旧在历史上留下了一道亮丽的篇章，被后世传颂永远。
