第二野战军和第三野战军大军渡江后，国民党军队的防御体系被打乱，国民党军已无法组织有效的抵抗。22日，京沪杭警备总司令部仓促下达撤退令，决定将镇江以东的4个军东撤至上海，镇江以西的12个军南撤至浙赣线。但是，京沪杭警警备总司令部在下令后即匆匆撤往上海，对南撤部队失去掌握，对部队转进撤退时的指挥关系、道路区分、掩护收容及转进目标等等没有详细指示，致数十万部队之“转进作战，既缺乏预定计划，更无充分准备，第一线各军师，在匪军强劲压力下，脱离战斗，无统一指挥与管制，致彼此争先恐后，秩序混乱”；“各级指挥机构，争先撤离，以致通信联络中断，既无强有力之统一指挥，更未设置第二线阵地，任令大军相互争道，各自为战，终至被匪军各个击破”。渡江战役发起时，总前委曾指示：“在战术上仍应稳扎稳打，有组织有准备进行战斗，防止轻敌乱碰。”战役发起后，根据国民党军迅速败退的动向，粟裕认为：“我全线渡江后，定将造成敌之紊乱，尤以南京上游敌机动兵力既少又弱。我应乘登陆胜利之威，迅速展开，插向敌之纵深。如此不仅使敌无暇调整部署，且将促成敌之更大混乱，达成分隔包围。”渡江指挥部随后即令西集团经皖南直出浙赣线，切断汤恩伯和白崇禧集团的联系；中集团自皖南的宣城和广德向东、东集团越过京沪铁路经苏南的金坛和溧阳向南，截断京杭公路，在太湖以西合围败退中的国民党军；同时要求各部队发扬连续作战的精神，乘国民党军撤退混乱，未及形成新防线之机，大胆穿插，迂回包围，超越追击，力求歼灭当面国民党军。23日，东集团占领镇江、常州和无锡，切断京沪铁路；中集团占领芜湖。其后，中集团在皖南歼灭国民党2个军，随后与东集团在太湖西南合围歼灭国民党4个军；西集团于5月5日占领鹰潭，6日占领衢州、金华，控制了浙赣线，完成了切断汤恩伯和白崇禧两集团联系的任务；余下的国民党6个军亦被歼大半。5月底，第二野战军一部已进至福建北部的建瓯、南平地区。其后，第二野战军停留在浙赣路休整，既监视白崇禧集团，又准备对付美国可能的干涉，第三野战军则以第7兵团进攻杭州并向浙南进军，第8兵团控制南京及其周边和皖南，第9、10兵团准备攻击上海。