羊祜经过反复考虑，向司马炎写了一封密信，建议利用长江上游的有利条件，在益州大办水军，以水路为主，攻击东吴。司马炎采纳了，命益州刺史王濬建造战船，操练水军。后来，王濬水军顺江而下，直捣建康，灭了东吴。
羊祜和陆抗，都被列为古代六十四名将之中，又都有政治头脑，正是旗逢对手，将遇良才。他俩都知道，在当时的情况下，谁也吃不掉谁，于是各保边境，并不互相攻击，还常有使者往来。陆抗称赞羊祜说：“虽乐毅、诸葛孔明不能过也。”这评价是相当高的。
有一次，陆抗生了病，听说羊祜有治疗此病的良药，便写信求药。羊祜马上派人把药送去，并写信说：“这是我自己刚配制的药，还没有服用，听说您病了，就先给您吃吧。”
东吴将领害怕有诈，都劝陆抗不要服用。陆抗却毫不怀疑，说：“羊祜专以德服人，怎么会用毒药害人呢？”陆抗端起药碗，一饮而尽。
皇帝孙皓听说以后，很不理解，派人斥责陆抗，并对他产生了怀疑。孙皓暴虐无道，人心尽失，吴国前景堪忧。陆抗忧心仲仲，不久忧郁病逝。陆抗一死，东吴就再无良将了。
公元276年，羊祜见伐吴时机已经成熟，向司马炎写了著名的《请伐吴疏》。羊祜分析了天下大势，指出孙皓残暴，君臣离心，东吴混乱，正是伐吴的好时机，并献上了伐吴的具体计策。
羊祜的建议，得到司马炎肯定，但朝中大臣们纷纷反对，权臣贾充、冯紞的态度更为激烈，他们认为西北地区鲜卑未定，不宜两线作战。在朝中大臣中，只有杜预、张华等少数人赞同。司马炎只好暂缓伐吴。
过了两年，羊祜病重，司马炎下诏，让他入朝治病。羊祜再次向司马炎陈述伐吴主张，说：“孙皓暴政，已到了极点，此时伐吴，可一战而定。如果孙皓死了，吴人另立明君，好机会就丧失了。”羊祜还向司马炎详细阐述了水陆并进、水路为主的伐吴策略。
这年十一月，羊祜病逝，终年五十八岁。羊祜临终前，推荐杜预接替他的职务。
羊祜死后不久，杜预按照羊祜生前的部署，一举灭掉吴国，完成了统一大业。在庆祝宴会上，司马炎流着眼泪说：“这是羊太傅的功劳啊！”
羊祜虽然没有亲自参加伐吴战争，但他为伐吴奠定了坚实基础，并制定了伐吴大计，他的功劳，历史是不会忘记的。