济南战役以前,粟裕就考虑攻下济南后的行动方向,认为应出兵苏北、苏中作战,为渡江创造条件,指出“在长江以北决战比长江以南决战有利得多,而在长江以北决战,又以在徐(州)蚌(埠)地区最为有利。”8月下旬,粟裕等联名向中央军委建议:“两月以后我们即可举全力沿运河及津浦南下,以一个兵团攻占两淮(即淮阴、淮安)及高邮、宝应,则苏北局势即可大大开展。”济南战役即将结束时,粟裕9月24日向中央军委及华东局、中原局建议,“即进行淮海战役”。次日,中央军委发出两个电报:一说“济南战役后,我们同意乘胜进行淮海战役。”一说“我们认为举行淮海战役,甚为必要”。中原局当日也来电支持,并表示配合华野作战。中央军委在征询刘伯承、陈毅等人意见后,批准了这个建议。毛泽东10月11日为中央军委起草了《关于淮海战役的作战方针》,计划战役分3个阶段进行。随后,军委还接受了粟裕的建议,决定“整个战役统一受陈(毅)邓(小平)指挥”。
攻克济南后,华北与山东解放区连成一片,国民党徐州刘峙集团陷于中原野战军和华东野战军的夹击之中。由此,国民党统帅部调整部署:决以华中“剿总”白崇禧所部在平汉路以西发动攻势;以徐州“剿总”刘峙所部在陇海路东西两侧,加强防御,确保徐州。国民党军参加徐蚌地区作战的总兵力共29个军70个师80万人。
11月6日,华东、中原两大野战军等发起淮海战役。此时已扩大了战役的原定规模,扩大到歼灭淮河以北全部敌军。中央军委决定由刘伯承、陈毅、邓小平、粟裕、谭震林5人组成总前委,邓小平任书记,统一领导指挥淮海战役。参战部队有华东野战军的山东兵团、苏北兵团、西线兵团等共16个纵队36万人;中原野战军共7个纵队15万人;华东、中原和华北冀鲁豫军区的地方部队,总兵力60万人。
淮海战役,历时65天,共歼灭国民党军黄百韬、孙元良、黄维、邱清泉、李弥5个兵团22个军,包括蒋介石“五大主力”之第十八军、第五军,共55. 5万人,生俘徐州“剿总”副总司令杜聿明、第十二兵团司令黄维等高级将领。野战军伤亡13.4万人。淮海战役的胜利,彻底粉碎了蒋介石在长江以北建立“重点防御”的计划,消灭了国民党在华东、中原战场上的精锐主力,使国民党的政治、经济中心南京、上海及武汉等重要城市处于解放军的直接威胁之下,美帝国主义扶植下的蒋家王朝已穷途末路。
粟裕在整个战役中,及时建议举行淮海战役,并促成指挥领导的统一,以及在战役中的深谋远虑和指挥艺术,为最终夺取战役的胜利奠定了良好的基础。所以毛泽东说:“淮海战役,粟裕同志立了第一功。”