自从匈奴人占领了中原，北方有许多人避难到南方来。刘琨的好友祖逖也带着几百家乡亲来到了淮河流域一带。在逃难的行列中，祖逖主动出来指挥，把自己的车马让给老弱有病的坐，自己的粮食、衣服给大家一起吃用。大家都十分敬重他，推他做首领。
到了泗口（今江苏清江市北），祖逖手下已经有一批壮士，他们都是背井离乡的北方人，希望祖逖能带他们早日恢复中原。
当时，司马睿还没有即皇帝位。祖逖渡江到建康，劝琅琊王司马睿说：“晋朝大乱，是由于皇室内部自相残杀，使胡人乘机攻进了中原。现在中原的人民遭受敌人的残酷，都想要起来反抗。如果大王下令出兵，让我们去收复失地，那么北方各地的人民一定会群起响应。”
司马睿并没有恢复中原的打算，但是听祖逖说得有道理，也不好推辞，只好答应他的请求，将他派为豫州刺史，并拨给了一千个人吃的粮食和三千匹布，但至于人马和武器，他要自己想办法。
于是，祖逖带着随同他来的几百家乡亲，在船上横渡长江。当船到达江心的时候，他拿着船桨，在船舷边拍打，说：“我若不能扫平占据中的敌人，就决不再过这条大江。”他的激昂的声音和豪壮气概，使得随行的壮士个个感动，不禁变得人人激奋。
在淮阴停留期间，他们制造兵器，一面招兵买马，一方面聚集了两千多名战士，便向北进发。在整个过程中，他们得到人民的大力支持，从而迅速收复了许多失地。当时长江以北还有不少豪强地主，因为机会抢夺堡垒互相争斗。祖逖说服他们停止内斗跟随一起北伐，对不听号令或依附敌人的，则坚决制裁。这使得他的威望越来越高。
公元319年，由于陈川投降后赵国主石勒，被任命为镇西将军。他决定发兵进攻陈川，这次战斗被称作“桃豹之战”。石勒派五万援军，被打败之后，又发生了一场与桃豹及韩潜争夺蓬陂城四十天的大战，最终因双方断粮导致双方撤退，最终成功截断后赵援军所运送至前线的一千头驴子装载米粮，此举极大削弱了后赵军队，使其最终放弃阵地逃跑。此役之后，以此英雄事迹著称，为历史留下深刻印记。
尽管如此，由于朝廷对其功绩产生担忧，将戴渊派遣作为征西将军统管六州，而不是直接任命为最高指挥官，这让原本辛勤工作回馈社会又未得到正义回报的情绪愈加强烈，最终导致健康问题困扰下的悲剧性结局——在知晓朋友刘琨遇害以及朝廷内部斗争的情况下，不幸去世。在这个过程中的那份坚持与无私，以及那个“击楫”的瞬间成为了永恒传唱的事迹，为人们所铭记。而那些艰苦卓绝、英勇善良的一幕，也在历史长河里成为民族精神的一个重要组成部分。
