自从匈奴人占领了中原，北方有许多人避难到南方来。刘琨的好友祖逖也带着几百家乡亲来到了淮河流域一带。在逃难的行列中，祖逖主动出来指挥，把自己的车马让给老弱有病的人坐，自己的粮食、衣服给大家一起吃用。大家都十分敬重他，推他做首领。
到了泗口（今江苏清江市北），祖逖手下已经有一批壮士，他们都是背井离乡的北方人，希望祖逖能带他们早日恢复中原。当时，司马睿还没有即皇帝位。祖逖渡江到建康，将这一切情况向司马睿说明：“晋朝大乱，是因为皇室内部自相残杀，使胡人乘机攻进了中原。现在中原的百姓遭受敌人的残酷，都想起来反抗。如果大王下令出兵，让我们去收复失地，那么北方各地的人民一定会群起响应。”
司马睿虽然没有恢复中原的打算，但听了祖逖的话，也觉得有些道理，便勉强答应他的请求，并派他做豫州刺史，只是拨给了一千个人吃的粮食和三千匹布，对于人马和武器，他要自己想办法。
于是，祖逖带着随同来的几百家乡亲，一路上制造兵器、招募士兵，最终聚集了两千多名战士，就向北进发。他在军队里树立威信，不断收复失地。当时，有些豪强地主依旧占据堡垒互相争夺，这些豪强被说服停止内斗，与祖逖共同进行北伐，对不听号令或依附敌人的，则坚决予以打击。
公元319年，在陈留地方的一位豪强陈川投降后赵国主石勒之后，祖逖决定发兵进攻陈川。但是，当桃豹率领后赵五万援军支援陈川时，被祖逖所部打得大败。此后，又发生了一系列战斗，最终导致桃豹失败而逃跑。
尽管如此，由于朝廷对他的力量过分担忧，并且为了控制局势，将戴渊派为征西将军统管六州事务，让原本辛勤工作并收复失地的大将军归他指挥，这使得心怀不满却又无法表达的心情最终影响了他的健康。他在听到朋友刘琨被害以及朝廷与王敦之间权力斗争的情况后，因忧愤过度而去世。在这个过程中，他那“119 祖逖中流击楫”的英雄气概，一直成为人们传颂的事迹。
