1954年4月27日，中共中央政治局扩大会议决定撤销大区一级党政机构。9月13日，中共中央华东局报告中共中央，称大区撤销后，为加强对上海、江苏、浙江工作的领导，建议成立上海中央局。10月28日，中共中央电复同意，并决定由柯庆施、陈丕显、潘汉年、江渭清、江华、谷牧、马天水、刘顺元及南京军区负责人2人至4人组成，柯庆施为书记。
上海局驻地上海，主要领导上海市委，并对江苏、浙江省委的几项主要工作保持领导关系。
1957年7月，上海局为了适应工农业生产发展的需要，调整地区间的矛盾，达到互相帮助、互相支援，促进整个国民经济的发展，召开苏、浙、闽、皖、赣、沪5省1市经济协作会议，并报请中共中央同意，在上海局领导下成立经济协作委员会。此后，上海局经常派工作组去苏、浙、闽、皖、赣等地农村进行调查研究工作。
1955年1月8日，中共中央电告上海局，由于谷牧调中央工作，由许建国继谷牧任上海局委员。1958年10月7日，中共中央电复上海局同意南京军区的许世友、唐亮参加上海局为委员。
1960年9月，中共中央政治局决定成立华北、华东等6个中央局。11月10日，中共中央华东局开始办公，上海局即行撤销。
附：上海局领导班子成员（1960.11）
柯庆施 上海局书记、上海市委第一书记、市长，南京军区第一政委、上海警备区第一政委
陈丕显 上海局委员、上海市委书记、上海警备区第二政委
江渭清 上海局委员、江苏省委书记、南京军区第三政委、江苏省军区第一政委
江华 上海局委员、浙江省委第一书记、浙江省军区第一政委
马天水 上海局委员、上海市委书记
刘顺元 上海局委员、江苏省委常务书记
许建国 上海局委员、上海市委书记
许世友 上海局委员、南京军区司令员
唐亮 上海局委员、南京军区第二政委
