桓温怕夜长梦多，当天就派散骑侍郎刘亨入宫，收缴了国玺，逼司马奕离开皇宫。时值仲秋，司马奕穿着单衣，乘牛车出宫，群臣哭着拜别。桓温令部下率数百名士兵，押送他回到原来的东海王府。
公元372年，司马奕被降封为海西公，迁往吴县西柴里居住，由吴国内史刁彝和御史顾允领兵监管。许多人都同情他，有人假借他的名义，声称奉他的诏命，聚众起事，反对桓温。司马奕知道后，深居简出，闭门谢客，尽量避免嫌疑。
有一天，有个叫许龙的人，秘密来找司马奕，自称奉褚太后密诏，来迎接司马奕回京复位。司马奕有些心动，想要答应他。这时，他的夫人极力劝阻，司马奕便拒绝出门，并斥退许龙。此后，司马奕足不出户，整日沉湎于酒色之中，总算避免了杀身之祸。公元386年，司马奕病逝，终年四十五岁。
东晋建立以来，从未发生过废立之事，桓温擅行废立，本欲树立权威，不料弄巧成拙，引起许多人反对，他自己也紧张不已。前秦天王符坚听说之后，嘲笑他说：“桓温三次北侵，两次败绩，使国家遭受重大损失，本该反思过错，向百姓谢罪，反而倒行逆施，废黜君主。六十岁的老叟，干出这等荒唐之事，如何自容于天下？”符坚比桓温明智。
桓温在民间的形象，也一落千丈。桓温认为自己的雄姿气概，能与名士刘琨相比。有一天，桓温在街上遇见一个老妇人，老妇人一见桓温，忽然流下泪来。桓温惊讶，问她缘故。老妇人说：“我曾经是刘琨的婢女，您长得太像刘琨了，所以禁不住流泪。”
桓温闻言大喜，忙问哪里像？老妇人说：“脸很像，可惜太薄；眼睛很像，可惜太小；胡须很像，可惜太红；形体很像，可惜太短；声音很像，可惜太雌。”
桓温听得一头雾水，等老妇人走后，他才明白过来，这分明是在嘲笑他呀！桓温怅然若失，好几天都闷闷不乐。
桓温废立皇帝的目的，是想树立个人权威，结果却适得其反，而且两年后就病死了。这表明：靠不正当手段树立权威，是根本靠不住的，也不会有好的结果。