自从匈奴人占据了中原，北方有许多人逃到南方来。刘琨的好友祖逖也带着几百家乡亲来到了淮河流域。在逃难的队伍中，祖逖主动出来指挥，把自己的车马让给老弱有病的人坐，让自己的粮食和衣服给大家一起吃用。大家都十分敬重他，将他推为首领。
到了泗口（今江苏清江市北），祖逖手下已经有一批壮士，他们都是背井离乡的北方人，希望祖逖能够带他们早日恢复中原。当时，司马睿还未即位为皇帝。祖逖渡江到建康，劝说琅琊王司马睿：“晋朝大乱，是由于皇室内部自相残杀，使胡人乘机攻进了中原。现在中原的百姓遭受敌人的残酷，每个人都想要起来反抗。如果大王下令出兵，并派我们去收复失地，那么北方各地的人民一定会群起响应。”
司马睿虽然没有恢复中原的打算，但听了祖逖的话，也不好推辞，只好勉强答应他的请求，被派做豫州刺史，并且得到了一千人的粮食和三千匹布。不过，他自己要想办法筹集更多的人马和武器。
祖逖带着随行的几百家乡亲组成了一个队伍，在长江上横渡时，用船桨在船舷边拍打，对众人发誓：“如果我不能扫平占领中原的敌人才不再过这条大江。”他的激昂声调和豪壮气概，使得随行 士们个个感动、人人激奋。
到了淮阴，他们停下来一面制造武器，一面招募士兵，最终聚集了两千多名士兵，就向北进发。在路上，他们得到人民的大力支持，不断收复失地。当时，还有许多豪强地主因为机会而互相争夺土地。祖逖说服他们停止内斗，与他一起北伐，对不听号令或依附敌人的，就坚决打击。他因而越来越受到人们尊敬。
公元319年，陈留地方的一位豪强地主陈川投降后赵国主石勒，祖逖决定发兵进攻陈川。但是，这场战斗并没有像预期那样顺利进行。一天，他用泥土装满布袋，用以骗取赵军，而赵军则被晋营中的“米袋”所迷惑，最终导致战败。这次胜利增强了晋朝对其忠诚度，同时也进一步巩固了其在当地的地位。
尽管如此，由于后来的政治原因，以及与其他将领之间的心理矛盾以及对朝廷政策不满意等因素，最终导致了他的去世。而遗憾的是，即使在艰苦环境下与部下的共同奋斗生活节俭，而且尽量帮助部下，也无法改变命运。而最后，他那勇敢无畏、英雄气概至今仍被后代传颂。
