汉赵政权崛起之后，王衍预感到前景不妙，面临危险，可是，他不去考虑如何抵御汉赵，维护国家安全，而是为自己精心营造后路。当时，青州和荆州，都是军事要地，物产也很丰饶。于是，王衍让弟弟王澄担任荆州刺史，族弟王敦为青州刺史，掌控了这两个地方。王衍对弟弟说：“荆州有长江、汉水的坚固，青州有背靠大海的险要，你们镇守两地，我留在京师，这样就可以称上三窟了。”
公元308年和309年，汉赵军队两次攻打洛阳，王衍以司徒身份都督军事，后又转任太尉，率军抵抗汉军。王衍的表现还算不错，当时洛阳危急，人心惶惶，许多人都想出城避难，王衍便卖掉牛车，表示不会离城，以安抚人心。
公元311年，把持朝廷的司马越病逝，众人一致推举王衍为统帅，领军对抗汉赵。王衍自知无力回天，心中畏惧，坚决拒绝。王衍带着晋军主力和一些王公大臣，护送司马越的棺椁去东海安葬。其实，他们是想借机离开洛阳这个危险之地。
可没有想到，汉赵大将石勒，率轻骑兵追赶灵车，在苦县宁平城消灭了晋军十几万人，王公大臣全被杀死或捕获，王衍也当了俘虏。
因王衍官职最高、名气最大，石勒召他相见，询问西晋之事。王衍成了阶下囚，为了活命，他卑躬屈膝，向石勒详细介绍了西晋的情况，并一再升称，自己从小就没有当官的欲望，朝廷的政策，也不是他制定的，把责任推得一干二净。王衍为了讨好石勒，竟然谄媚地夸赞石勒，劝石勒称帝。
不料，王衍拍马屁拍错了地方，反而使石勒心生厌恶。石勒没有想到，堂堂的名士和晋朝重臣，竟然是如此卑鄙小人。石勒虎着脸，冷冷地说：“你年轻的时候，就已经当上高官了，凭什么说自己没有当官的欲望？你身居要职，名声响彻海内，却把天下搞得一团糟，不是你的责任，又是谁呢？”王衍哑口无言。
石勒极为不屑地对部下说：“天下人我见得多了，还不曾见过这样无耻的人，留下来没用。”当天晚上，石勒命人推倒墙壁，把王衍等人砸死。王衍死时五十六岁。
几十年之后，桓温北伐，看到中原一片废墟，不禁想起了只会清谈的王衍，感慨道：“国土失陷，王衍等人推脱不了罪责”。
平心而论，西晋灭亡，并不能完全归罪于王衍等人，但是，他们熟衷于清谈而不干实事，形成清谈之风，误事误国，也是西晋覆灭的重要原因，他们是难逃干系的。
可见，清谈误国，实干兴邦，这是从历史经验教训中得出来的一条真理。