在长期的皇族大混战中，司马睿后来终于没能独善其身，他的琅邪国与东海国相邻，于是，他倒向了东海王司马越。
公元304年，八王之乱进入高潮，司马越率军讨伐司马颖。二十九岁的司马睿，被任命为左将军，随军出征。结果，司马越大败，逃回东海国，司马睿却做了俘虏。万幸的是，不久他就逃了回来。
司马睿逃回洛阳后，王导劝他说，洛阳是个危险的地方，不宜久留。于是，司马睿就带着家眷，与王导一起，回到了他的封地琅邪。
后来，司马越积蓄了强大力量，带兵西去洛阳，打算夺取朝廷大权。司马越觉得司马睿可靠，任命他为平东将军，镇守后方。因此，司马睿没有去洛阳，免去了刀兵之灾。
公元307年，汉赵政权迅速崛起，成为西晋大敌，而西晋王朝仍然内斗不止，混乱不堪。王导意识到，西晋政权已经无药可救了，迟早会被灭掉，中原将要大乱，于是，他多次劝说司马睿，抛弃眼前的利禄，到江南去避难。
司马睿听从了，向朝廷谋取了出镇江南的职位，渡江南下，去镇守建康。王导携带家族全部人口，也跟随迁居江南。琅邪王氏是大家族，在东晋初期发挥了重要作用。司马睿是皇族中最早南迁的，等到后来皇族和中原百姓大批南迁的时候，司马睿已经在江南站稳了脚跟。
公元311年，汉赵军队攻陷洛阳，俘虏了晋怀帝。中原局势动荡不安，中原百姓大批涌入江南避乱，据史籍记载，人数比例达到十之六七。王导劝司马睿乘机招揽人才，收买人心，以图大业。
公元316年，汉赵军队包围长安，晋愍帝投降，西晋王朝宣告灭亡。王导和堂兄王敦等人，抓住时机，周密谋划，准备在建康重建晋朝政权，拥立司马睿为帝。
公元317年，在王导和王氏家族扶持下，司马睿建立政权，史称东晋。当时，由于晋愍帝还活着，司马睿称为晋王，第二年，晋愍帝死讯传来，司马睿就正式登基称帝，被称为晋元帝。司马睿让王导行使丞相职权，任命王敦为大将军。
司马睿虽说是东晋开国皇帝，但能力一般，并无雄才大略，再加上声威不够，势单力薄，特别是，东晋政权实际上是由琅邪王氏策划建立的，琅邪王氏势力庞大，所以，司马睿必然会大权旁落。在东晋建立初期，以王导、王敦为首的王氏家族控制了朝廷，形成了“王与马，共天下”的局面。
这表明，东晋政权从一开始建立，基础就是不牢固的，以至于后来叛乱不断，长期处于风雨飘摇之中。