历史上的淮水是一条独流入海的河流。在商代的甲骨文和西周的钟鼎文里就有“淮”字出现,历史上,淮河与长江、黄河、济水并称四渎,是独流入海的四条大河之一。
春秋时的地理著作《禹贡》记载:“导淮自桐柏,东会于泗、沂,东入于海”。古淮河在盱眙以西大致与今淮河相似,至盱眙后折向东北,经淮阴向东,在今涟水县云梯关入海。当时淮河并没有洪泽湖,干流河槽也较宽深,沿淮无堤。
南宋建炎二年(1128年),为防御金兵南下,东京(今开封)守将杜充在河南省汲县和滑县之间人为决堤,造成黄河改道,大部分黄水从泗水分流入淮;南宋绍熙五年(1194年),黄河南决,从此长期夺淮入海,大量泥沙淤泥使淮河入海出路受阻,盱眙与淮安之间的洼地逐渐形成今洪泽湖,并冲淮南堤溢流坝,沿三河入宝应湖、高邮湖,经邵伯湖由夹江在三江营入长江。
12世纪90年代以前,淮水洪泽湖以西干流大致与今天的淮河相似,下游流经今江苏省盱眙县后折向东北,经淮安市于响水县南部的云梯关入海。当时沂河、沭河、泗河都是淮水的下游支流。由于黄河“善淤、善决、善徙”,不仅多次从北岸决口,淤积海河平原,河道向东北迁徙,而且也多次从南岸决口,淤积淮河平原,河道向东南迁徙,夺淮河入黄海。黄河夺淮后,下游三角洲向东延伸了约50km;淮河故道淤塞后,使淮河从入江水道入长江,使部分长江流域面积变成淮河流域的面积。
清代咸丰五年(1855年),黄河再次北迁改道由山东大清河入渤海,但淮河入海故道已淤成一条高出地面的废黄河,这条地上河将淮河流域分为淮河水系和沂沭泗河水系。
1855年,黄河在河南兰考县境内向北决口,经山东利津入渤海。在1194~1855年的黄河夺淮期间,黄河也多次从南岸决口黄水从淮河北岸支流涡河、颍河入淮河干流,直到明清才形成较稳定的河道。
1938年抗日战争时期,国民党当局为阻止日军西进,在郑州附近的花园口炸开黄河南堤,黄河主流自颍河入淮,直到1947年花园口堵复上,黄河又泛滥达9年之久,淮河北岸支流又一次普遍遭到破坏。
受黄河长期侵淮夺淮的影响,地形和水系发生了很大变化,古济河、钜野泽和梁山泊已消失;河床普遍淤高.且留下了废黄河河床;形成新的湖泊如洪泽湖、南四湖和骆马湖。因此,中华人民共和国成立前,淮河水系紊乱,排水不畅或水无出路,造成了“小雨小灾、大雨大灾,无雨旱灾”的局面。中游的水下不来,下游的水又流不出,是一条难治之河。