自从匈奴人占领了中原，北方有许多人避难到南方来。刘琨的好友祖逖也带着几百家乡亲来到了淮河流域一带。在逃难的行列中，祖逖主动出来指挥，把自己的车马让给老弱有病的坐，自己的粮食、衣服给大家一起吃用。大家都十分敬重他，推他做首领。
到了泗口（今江苏清江市北），祖逖手下已经有一批壮士，他们都是背井离乡的北方人，希望祖逖能带他们早日恢复中原。
当时，司马睿还没有即皇帝位。祖逖渡江到建康，劝琅琊王司马睿说：“晋朝大乱，是由于皇室内部自相残杀，使胡人乘机攻进了中原。现在中原的人民遭受敌人的残酷，都想要起来反抗。如果大王下令出兵，让我们去收复失地，那么北方各地的人民一定会群起响应。”
司马睿并没有恢复中原的打算，但是听祖逖说得有道理，也不好推辞，只好答应他的请求，将他派为豫州刺史，并拨给了一千个人吃的粮食和三千匹布。
随着这支队伍横渡长江的时候，祖逖拿着船桨，在船舷边拍打，说：“我若不能扫平占据中的敌人，就决不再过这条大江。”他的激昂声调和豪壮气概，使随行 士个个感动，每个人都被激奋。
在淮阴，他们停下来，一面制造兵器，一面招兵买马，对两千多名士兵进行训练。当时，有些豪强地主依附于后赵国主石勒。他说服这些豪强停止内争，与自己一起北伐，对不听号令或依附敌人的，便坚决打击。这使得他的威望越来越高。
公元319年，他决定发兵进攻陈川，这次战斗是对后赵将领桃豹的一次胜利。不久之后，他又成功夺取了蓬陂城，但战斗持续四十天，最终导致双方军粮断绝。为了解决这个问题，他使用计谋，用泥土装满布袋伪装成米团运往前线，然后趁桃豹部队抢米而忘记防守之际发起攻击，最终取得胜利。
在这一系列战役之后，由于连续作战和艰苦斗争，以及不断扩大的军事力量和影响力，被封为镇西将军。但是，即便如此，也无法改变晋元帝对于其势力的担忧，最终命戴渊接替其职位，这引起了他的不满最终导致身亡。而尽管未能完成恢复整个国家的事业，但那段时间里父亲英勇无畏、领导人民抵抗外患的情景一直被人们传颂下去。
