自从匈奴人占领了中原，北方有许多人避难到南方来。刘琨的好友祖逖也带着几百家乡亲来到了淮河流域一带。在逃难的行列中，祖逖主动出来指挥，把自己的车马让给老弱有病的坐，自己的粮食、衣服给大家一起吃用。大家都十分敬重他，推他做首领。
到了泗口（今江苏清江市北），祖逖手下已经有一批壮士，他们都是背井离乡的北方人，希望祖逖能带他们早日恢复中原。当时，司马睿还没有即皇帝位。祖逖渡江到建康，劝司马睿说：“晋朝大乱，现在胡人乘机攻入了中原。只要大王下令出兵，我们去收复失地，那北方各地的人民一定会群起响应。”
司马睿并没有恢复中原的打算，但是听了祖逖的话，也不好推辞，就答应他的请求，让他做豫州刺史，并派了一千个人吃的粮食和三千匹布。不过，他要自己想办法筹集人马和武器。
祖逖带着随同他来的几百家乡亲组成一支队伍，在长江横渡的时候，用船桨在船舷边拍打，对大家发誓：“如果我不能扫平占领中原的敌人，我决不再过这条大江。”他的激昂声调和豪壮气概，使得随行 士个个感动，一致激奋。
到了淮阴，他们制造兵器，同时招募军队聚集两千多名士兵，然后向北进发。在这一路上，他们得到人民支持迅速收复失地。当时，有些豪强依附后赵国主石勒，但被祖逖说服停止内争跟随他一起北伐，对不听号令者坚决打击。他的威望越来越高。
公元319年，当陈川投降后赵国时，祖逖决定发兵进攻。他用布袋装满泥土扛到前线，以此欺骗敌军，最终成功夺取蓬陂城，将后赵五万援军打败，从而稳固了晋朝对黄河以南地区的地位。
在战斗艰苦环境下，与将士们共甘共苦，他节约生活，为部下分外留心，还奖励耕作招纳归顺之人才，即使与自己关系疏远或社会地位低下的也有热情对待。这导致地方百姓拥护其领导，并举行宴会庆祝父亲们能够活下来见面，这种场景让人们感受到了温暖与团结。但遗憾的是，由于担心其势力过大，不久之后，被朝廷牵制至死去，而未能完成恢复全境的事业，但那“中流击楫”的英雄气概仍然被世代传颂。
