1904年,郑县站始设立,为卢汉铁路(卢沟桥至汉口)的业务站。
1948年10月22日,中国人民解放军攻占郑州,“中原陇海、平汉铁路郑州联合管理委员会”随后成立。
1949年2月,更名为“中原陇海、平汉铁路联合管理局”。同年3月,“中国人民革命军事委员会铁道部郑州铁路管理局”成立。
1958年9月,原郑州铁路管理局一分为三,铁道部郑州、武汉、西安铁路局分别正式挂牌成立。 1963年4月,武汉铁路局撤销,并入郑州铁路局。
1971年7月,武汉铁路局恢复设立,郑州铁路局一分为二。
1983年3月,武汉铁路局再次撤销,并入郑州铁路局。
1984年10月,西安铁路局撤销,并入郑州铁路局。
2005年3月,武汉铁路局、西安铁路局恢复设立,郑州铁路局一分为三。