公元276年，羊祜被提拔为晋帝国征南大将军，他马上上书皇帝司马炎，提出征吴主张。
此时距蜀国灭亡已经过去十三年，晋国迟迟没有发动平吴之战，主要有三个原因：其一，晋取代魏，改朝换代，必须要有一个整合期；其二，西北鲜卑之乱，牵制帝国南下作战；其三，吴国据有江湖之险，晋国军队能否突破长江防线是一大考验。
羊祜认为，山河之险，只有在双方势均力敌时才能发挥作用，倘若双方实力悬殊，就失去意义。他以伐蜀之战为例，蜀国虽有“一夫当关，万夫莫开”的地理优势，然而一战而亡，可见弱者光凭恃山河之险是不够的。他进一步指出，吴国的江淮之险不如蜀国的剑阁之险，孙皓的残暴远甚于刘禅，吴人之痛苦甚于蜀人。这三点决定了吴国的抵抗力绝不会比蜀国更强。
为此，羊祜还制订一个详细的作战计划，具体是：梁州、益州兵团顺长江而下攻击；荆州兵团进攻江陵；豫州兵团进攻夏口；徐、扬、青、兖四州兵团南下直指吴都建业。在数千里战线上同时发起攻击，吴国虽有长江之险，也不可能处处抵挡得住。加上孙皓残暴，君臣离心，将士又岂有死战之心呢？