祖狄率领这支亲手组建的部队，北渡长江，毅然踏上了恢复中原的艰苦历程。祖逖乘船渡江，想到山河破碎和中原百姓蒙难，心中愤懑，热血沸腾，豪气冲天，他望着滚滚东去的长江水，敲着船楫，大声发誓说：“我祖逖如果不能肃清中原，拯救百姓，就像这长江水一样，有去无回”。成语“中流击楫”，就来源于此，比喻立志进取，不达目的誓不罢休。
祖逖率军很快到达兖豫一带。这一带，汉赵政权的控制力不是很强，大大小小的豪强各霸一方，犹如一盘散沙。祖逖打着晋朝皇帝的旗号，出师有名，他又大力宣传团结一致，保国抗敌。于是，许多豪强纷纷归附，百姓也踊跃参加，使祖逖的队伍迅速壮大。对不肯归附的地方势力，祖逖就派兵征剿。这样，经过几年努力，祖逖在长江以北，占据了一大块地盘。
公元317年，祖逖兵进芦州，意图夺取谯城，打开北伐通道。盘据在这一带的地方豪强，实力最大的是张平和樊雅，各有数千兵马。他们不肯归附晋朝，只想拥兵自重。祖逖巧施计策，杀了张平，逼降了樊雅，声威大振。
祖逖占领谯城以后，继续引兵北上。汉赵政权见祖逖率军北伐，直指中原，感到了威胁，便派大将石虎领兵阻截。祖逖军队士气旺盛，同仇敌忔，把石虎打得大败而回。此后，祖逖多次打败汉赵军队，使得汉赵政权在黄河以南的势力迅速萎缩，不得不退回到黄河以北。
公元321年，祖逖已经成功收复了黄河以南大部分地区，设置官吏，体恤百姓，施布恩信，发展生产，深得民心。有一次，祖逖设宴招待当地父老。父老们感激流涕地说：“我们老了，没想到还能过上安稳日子，多亏了祖将军，才使我们没有成为夷狄的俘虏”。
后来，汉赵政权衰落，汉赵的大将石勒自立为帝，建立了后赵。石勒很有谋略，他见自己的北方并不稳固，暂时不宜与祖逖为敌，便千方百计与祖逖修好，表示要与祖逖以黄河为界，和平相处。
石勒把祖逖母亲的坟墓修缮一新，以此示好。双方还开展了贸易活动，经常互派使者。祖逖心里也清楚，凭着当时的实力，还不足以打过黄河去，收复中原。于是，祖逖表面上同意修好，暗地里却抓紧积蓄力量，训练军队，等待时机。
这个时候，司马睿已经建立东晋，当上皇帝。他见祖逖收复了河南，立下大功，深得民心，势力不断强盛，担心不好控制，便派心腹戴渊为征西将军，出镇合肥，节制并监视祖逖。
祖逖见皇帝不信任自己，心情郁闷，又听说王敦与朝廷矛盾日益尖锐，担心内乱爆发，北伐大业难成，以致于忧愤成疾，一病不起，不久病逝，终年五十六岁。
祖逖一死，王敦大喜，他想叛乱，最忌惮的就是祖逖。祖逖知道王敦有野心，曾经警告他说，如果他敢反叛，自己只带三千兵马，就能灭了他。王敦知道祖逖的才能，心中畏惧，一直没敢作乱，如今祖逖死了，王敦没了顾忌，第二年就举兵叛乱了。
祖逖死后，弟弟祖约接替了他的职位。祖约与祖逖虽然是一母同胞，却有着天壤之别。后来，祖约不仅丧失了哥哥辛苦打下的河南之地，而且参加苏峻之乱，最后投降了后赵，却被后赵灭了族。
祖逖胸怀大志，文武双全，他把满腔热血报效于国家和人民，可惜生不逢时，有东晋那样自私昏暗的朝廷，祖逖怎么能有作为呢？
祖逖北伐大业虽未成功，但他“闻鸡起舞”和“中流击楫”的精神和品质，却流传千古，受到人们的景仰和赞誉。
东晋的第二任皇帝叫司马绍，他胸有智谋，文武双全，贤明豁达，是一位不错的帝王。由他执政，晋朝复兴或许还有希望。可惜天不保佑，司马绍很快就病死了。