公元317年，长安失守，晋愍帝投降的消息传到江南。驻守在江南的晋左丞相琅琊王司马睿，在建康(今江苏南京)称晋王(于第二年称帝)，改元为建武，史称东晋。这样，汉族人繁衍生息的中原地带第一次沦落至异族之手，匈奴战争翻开了新的一页，进入了相持阶段。
东晋王朝建立以后，政权很不稳定，先后发生了王敦、苏峻等的叛乱，极大地削弱了东晋政权本来就很弱的军事实力。至恒温掌权，由恒温率军西进蜀地，消灭了存在43年的成汉政权，大大增强了东晋王朝的军事和经济实力。为晋王朝的北伐收复失地创造了条件。
公元349年6月，晋征北大将军褚裒乘后赵石虎死后，后赵内部的战乱，起兵北上攻打后赵。但后赵南征大都督李农率骑兵20000将晋将王龛、李迈率3000兵马击败，褚裒惧敌退兵广陵(今江苏淮阴西南)。9月，晋梁州刺史司马勋得知赵乐平王石苞欲反赵帝石遵，率军进攻石苞军。司马勋率军出骆谷，攻占长城戍(今陕西周至西南)，驻军在悬钩。随后司马勋又派部将刘焕率军进攻长安，打败赵京兆太守刘秀离所率赵军，并将其杀死，接着攻克贺城(今周至西)。
石苞见晋军来攻派部将麻秋、姚国率军抵抗晋军。赵帝石遵闻司马勋进攻长安，派车骑将军王朗率精锐骑兵20000人前来增援长安守军。王朗到后，先将石苞抓捕送往邺城。司马勋见敌军增兵已至，不宜再战，便率军攻占了宛城(今河南南阳)，杀死赵南阳太守袁景，率军返还梁州。
石苞反叛被平息后，后赵宗室又起波折。石闵原姓冉，后被石虎认为义子，改称石闵。因其掌握很大一部分军队，引起了石虎一子石鉴的嫉妒。他向石遵建议将石闵杀掉，石遵欲杀掉石闵，却被郑太后劝阻。石鉴怕石闵知晓此事对自己不利，便向石闵告知石遵要杀之。石闵闻知，先下手为强，率兵攻入皇宫，将石遵、郑太后、太子石衍等均杀掉，立石鉴为帝。石鉴任石闵为大将军、李农为大司马。但不久，石鉴认为石闵、李农的存在对其是极大威胁，欲谋杀二人，但未得逞。
石虎之子新兴王石祗，驻扎在襄国，见石闵谋反，便与姚代仲、蒲洪共同起兵，攻打石闵、李农，但却被石闵击败。石闵本是汉人，见石氏所系羯族人不能支持自己，便下令将属高加索人种的羯族人斩尽杀绝，有20多万羯族人被杀，从此这个民族消失在历史的长河中。公元350年1月，冉闵(石闵)称帝，改国号为大魏，史称冉魏。这时，冉闵已经征服许多地区，拥兵30万，超过了后赵石勒鼎盛时期。
冉闵称帝之后，公元350年3月，后赵新兴王石祗也在襄国称帝。至此，冉闵与石祗又进行了近一年的战争，战争结果以冉闵胜，石祗兵败被杀而结束。但这并不意味着冉魏的最终胜利，一支新兴的力量正向冉魏杀来，这就是鲜卑人建立的前燕国。
在公元351年2月进行的冉魏与后赵石祗的大战中，燕军初露锋芒，他们与后赵军配合，一举将冉闵的100000军队消灭。在石祗被杀后，燕军开始单独与冉魏军作战。在一次战斗中，冉闵被燕军擒获杀死。公元352年8月13日，燕军攻占冉魏都城邺都，俘获冉魏皇后及太子冉智，冉魏灭亡。至此，自公元308年起，至公元352年止，历时近50年的匈奴进攻晋王朝中原地区的战争以匈奴主要势力不是被汉族，而是被另一新兴的强大势力慕容鲜卑人消灭而告结束。虽然这之后匈奴人沮渠蒙逊建立北凉(公元400～439年)，赫连勃勃于公元407年建立夏国(公元407～432年)，但都是不能对整个中原地区大局有影响的地方割据小国。因此，可以说匈奴战争第一阶段匈奴对中华帝国(秦汉晋)的晋王朝的战争宣告结束。交战双方都不是胜者，而经此一战，匈奴这个民族逐渐地在历史中消失，融入其他民族(主要是汉民族)之中!