自从匈奴人占领了中原，北方有许多人避难到南方来。刘琨的好友祖逖也带着几百家乡亲来到了淮河流域一带。在逃难的行列中，祖逖主动出来指挥，把自己的车马让给老弱有病的坐，自己的粮食、衣服给大家一起吃用。大家都十分敬重他，推他做首领。
到了泗口（今江苏清江市北），祖逖手下已经有一批壮士，他们都是背井离乡的北方人，希望祖逖能带他们早日恢复中原。
当时，司马睿还没有即皇帝位。祖逖渡江到建康，劝琅琊王司马睿说：“晋朝大乱，是由于皇室内部自相残杀，使胡人乘机攻进了中原。现在中原的人民遭受敌人的残酷，都想要起来反抗。如果大王下令出兵，让我们去收复失地，那么北方各地的人民一定会群起响应。”
司马睿并没有恢复中原的打算，但是听祖逖说得有道理，也不好推辞，只好答应他的请求，将他派为豫州刺史，并拨给了一千个人吃的粮食和三千匹布，但至于人马和武器，他要自己想办法。
于是，祖逖带着随同他来的几百家乡亲，在长江边上拍打船桨发誓：“如果我不能扫平占据中的敌人，我决不再过这条大江。”他的激昂的声音和豪壮气概，使随行壮士个个感动，每个人都被激奋起来。
在淮阴，他们制造兵器，一面招募士兵，一面聚集了两千多名战士，就向北进发了。在这一路上，他们得到人民的大力支持，不断收复失地。当时，有些豪强地主在长江以北占据堡垒互相争夺。祖逖说服他们停止内斗，与他一起北伐，对不听号令或依附敌人的，则坚决击败之。他越来越受到尊敬。
公元319年，当陈川投降后赵国主石勒时，祖逖决定发兵进攻陈川。但是，由于缺乏足够力量，他决定采取一种策略：装满泥土的一袋袋运送到前线，以此迷惑敌军。他成功诱使后赵将领桃豹趁晋军休息时偷袭，被迫撤退。此举极大削弱了后赵军队的情绪，最终导致桃豹全军覆没。
尽管如此，无奈的情况仍然存在。一方面是因为晋元帝对待他的态度不够开放；另一方面是因为朝廷内部不断发生权力斗争，这些都影响到了他的行动能力和政治生存空间。这一切最终导致了他身患疾病而去世，其遗体被安葬在故乡曹魏境内，而不是按照传统习惯葬入家族墓园，这显示出其品德高尚与深受人们爱戴的事实。而那个“119”这个数字，就是代表着那场英雄主义精神永垂不朽的一个缩影——无论是在历史长河还是文化传承上，都留下了一份宝贵财富。
