公元383年，前秦天王苻坚亲率百万大军，再次南下，意图吞并东晋，统一天下。朝廷命谢玄为前锋都督，与谢石、谢琰、桓伊等人领兵八万，前去迎敌。敌众我寡，许多人心存疑虑。
谢玄趁敌立足未稳，命勇将刘牢之率五千精兵，奔袭洛涧。敌军没有防备，被打得大败。刘牢之英勇无敌，斩杀了两名敌军大将，活捉了四名将领，缴获了大批军用物资。谢玄首战告捷，大挫敌军锐气。
苻坚大军在淝水沿岸布阵列兵，谢玄要求他们后退，腾出地方，以便于晋军渡河决战。苻坚依仗人多势众，又想趁晋军半渡而击之，便同意了。谁知后退令一下，秦军一下子乱了阵脚，再也控制不住了。谢玄趁势渡河，乘胜追杀，取得了肥水之战大捷。
淝水之战以后，前秦元气大伤，无力南下了。谢安得此良机，果断下令北伐。谢玄作为东路军统领，率军攻取中原。谢玄首先攻打兖州，当时前秦的兖州刺史张崇，领兵驻扎在鄄城。张崇不是谢玄的对手，被打得大败而逃，兖州轻松落到谢玄手里。
谢玄平定兖州之后，马不停蹄，进军青州。谢玄筑土坝拦截河水，以利于漕运，保障了军粮供应。前秦的青州刺史苻朗，得知谢玄大军到来，闻风丧胆，不战而降。
谢玄收复青州之后，随即命部将刘牢之等人，分兵攻取冀州、豫州、司州各地，不给前秦军队喘息之机。前秦军队刚刚遭受淝水大败，人心涣散，军无斗志，而且缺乏粮食，难以抵挡，非溃即降。苻坚的儿子苻丕驻军黎阳，因军中无粮，将士饥饿，不得已也向谢玄投降了。谢玄马上送给苻丕两千斛军粮。
谢玄大军犹如摧枯拉朽一般，经过连续作战，收复了兖、青、司、豫四州。与此同时，桓氏兄弟统领的中路军和西路军，也节节胜利，收复了梁州、益州等地。谢安北伐获得巨大成功，整个黄河以南广大地区，又重新纳入东晋的版图，东晋似乎就要兴盛起来。
谢安居功至伟，却遭到孝武帝猜忌，不得已交出权力，离开朝廷，不久病逝。
谢安死后，谢玄十分悲伤，他眼见皇帝昏庸，奸臣当道，朝纲混乱，他和叔父千辛万苦开创的大好局面，很可能会付之东流，因而忧郁成疾，一病不起。
公元388年，在谢安去世三年之后，谢玄壮年而逝，时年只有四十六岁。
后人对谢玄给予高度评价，唐代追封古代名将六十四人，宋代追封七十二人，谢玄都名列其中。
淝水之战，是中国历史上的著名战役，也是关系东晋生死存亡的大决战。这个时候，前秦已经占据了北方，如果再吞并东晋，就能统一天下了。可是，东晋取得了胜利，中国继续呈现南北分裂的局面。