桓玄摇着头说：“不着急，我打算荡平天下，此人用得着。等我平定关陇之后，再除掉他不迟”。
桓玄为了杜绝后患，打算瓦解北府兵，便假借各种罪名，杀害了孙无终等一批北府兵将领。这样一来，北府兵将领与桓玄的矛盾就尖锐起来。刘裕知道，自己终究不能为桓玄所容，便暗中与剩余的北府兵将领联络，积蓄力量，等待时机，准备反击桓玄。
不久，机会来了。公元403年12月，桓玄废晋称帝，引起许多人的反对和不满。刘裕见机会已到，就联略何无忌、刘毅等人，聚集北府兵将士一千七百余人，在京口举兵。众人推举刘裕为首领，传檄四方，声讨桓玄篡位称帝的罪行，各地纷纷响应。
刘裕起兵之后，桓玄整日忧心忡忡，唉声叹气。有人说：“刘裕只有区区几千人，力量弱小，陛下不必担忧。”
桓玄叹着气说：“刘裕是当代雄才，无人能及；何无忌是刘牢之的外甥，很会打仗；刘毅家境并不富裕，却捐出百万钱救济穷人，深得人心。如今他们联合反叛，其志不小，是很难对付的。”
果然，刘裕等人声望很高，又打着扶立晋朝的正义大旗，人心所向，队伍迅速壮大起来。刘裕领兵向建康进军，很快到达竹里。桓玄任命堂弟桓谦为征讨都督，率军迎敌。桓谦虽然也有才干，但不是刘裕的对手。刘裕两战两捷，打得桓玄军队闻风丧胆。
刘裕乘胜进军，攻占覆舟山，用火攻的办法，消灭了守军。刘裕军队斗志高昂，所向披靡，锐不可挡，只用一个月的时间，就兵临建康城下。桓玄大惧，他信奉道教，便召集一帮道士作法，请求天兵天将相助。可是，天兵天将不肯下凡，桓玄最后的一丝希望也破灭了。
桓玄从内心畏惧刘裕，其实从一开始就没有信心，他一面命桓谦迎敌，一面却准备好了船只，随时准备逃跑。桓谦兵败的消息传来，桓玄立即放弃建康，挟持着晋安帝，载着金银财宝，向西逃走，他要逃回老巢江陵去。
桓玄出逃的时候，心情悲伤，垂泪不止，一整天吃不下饭。他的儿子桓升，只有几岁，却很懂事，抚摸着桓玄的胸口，奶声奶气地安慰他。这更使得桓玄心中酸疼，犹如刀绞一般。
刘裕兵不血刃进入建康，随即稳定秩序，安抚百姓，处理善后事宜。同时，命何无忌、刘毅人率军追击桓玄。何无忌等人率军穷追猛打，接连大败桓玄军队，桓玄主力几乎损失殆尽。
桓玄好不容易逃回江陵，但此时的江陵，也是混乱不堪，城中还有人趁机暗杀桓玄。桓玄见江陵必不能守，只好继续西逃，打算逃入蜀地。不料，在途中被人杀死，首级被送往建康邀功。桓玄死时三十六岁。
刘裕消灭了桓玄，迎接傻皇帝晋安帝复位，他自己则掌控了朝廷大权。刘裕具有卓越的治国治军才能，他掌权以后，励精图治，推行改革，发展经济，朝廷出现了一派前所未有的新气象。