公元401年，孙恩打着讨伐孙恩的名义，率军沿海道进攻京口。桓玄上奏朝廷，要求出兵勤王，抵御孙恩。朝廷却不敢答应，因为担心会出现前门驱狼、后门进虎的情况。情况的确如此，桓玄确实是想浑水模鱼，并不怀好意。
公元402年，孙恩兵败自杀，起义军陷入低潮，朝廷终于可以松一口气了。当时掌权的，是司马道子的儿子司马元显。司马元显早就对桓玄十分不满，他年轻气盛，按捺不住心中的忿恨，下令讨伐桓玄。
桓玄闻讯大喜，他正愁找不到借口攻打朝廷呢，这下好了，出师有名了。桓玄发出檄文，声讨司马元显的罪恶，打着清君侧、诛奸臣的旗号，率军东下，直取建康。
桓玄蓄势已久，准备充分，兵马训练有素，一路攻关拔寨，锐不可挡。司马元显急忙派心腹司马尚之迎敌。司马尚之很能打仗，曾经打败过孙恩的起义军，深得司马元显器重。
司马尚之领命以后，率军排兵布阵，准备抵御桓玄。不料，桓玄大军到来之后，司马尚之的大将杨秋，却突然阵前倒戈，致使朝廷军队大败溃散。看来，桓玄事前已经策反了杨秋。司马尚之落荒而逃，后来被捕获杀害。
桓玄大军乘胜前进，进逼建康。司马元显恐慌，无奈只好打出了王牌，命刘牢之率军御敌。刘牢之英勇无敌，几乎没打过败仗，是朝廷最后的救命稻草。可没有想到，刘牢之带领他精锐的北府兵，也投降了桓玄。看来，桓玄事前做的工作相当不错，此时大见成效。
刘牢之一投降，司马元显就玩完了，他连守城的兵力都组织不起来了，桓玄轻而易举地进了建康城。桓玄入城之后，逮捕了司马道子和司马元显，宣布他们的罪行，把他们杀掉。同时清除司马道子在朝中和地方上的党羽亲信，杀了一大批。桓氏子弟及亲信纷纷担任要职，桓玄自封为丞相，独揽大权，桓氏家族再次控制了朝廷。
桓玄十分忌惮刘牢之。刘牢之英勇善战，无人能敌，但却见利忘义，反复无常。桓玄对刘牢之不放心，夺了他的兵权，任命他为会稽太守，让其离开朝廷。
刘牢之心中不满，想要再反叛桓玄。不料，他手下的将领们说：“反叛是个耻辱的事情，可将军一叛王恭，二叛司马，如今再叛桓玄，一生中三次反叛，如何立足于天地之间。”说完，将领们纷纷离他而去。刘牢之感到愧疚无奈，心灰意冷，上吊自杀了。
公元403年12月，桓玄废掉傻皇帝晋安帝，改国号为楚，自己登基当了皇帝。东晋一度灭亡了。
在那个封建时代，人们的正统观念是，晋安帝即便再傻，他当皇帝也是天经地义的；别人再贤能，如果篡位称帝，也是大逆不道。所以，桓玄篡位，遭到许多人反对，也给刘裕势力崛起提供了一个难得的机会。