历史上的淮水是一条独流入海的河流。在商代的甲骨文和西周的钟鼎文里就有“淮”字出现，历史上，淮河与长江、黄河、济水并称四渎，是独流入海的四条大河之一。
春秋时的地理著作《禹贡》记载：“导淮自桐柏，东会于泗、沂，东入于海”。古淮河在盱眙以西大致与今淮河相似，至盱眙后折向东北，经淮阴向东，在今涟水县云梯关入海。当时淮河并没有洪泽湖，干流河槽也较宽深，沿淮无堤。
南宋建炎二年（1128年），为防御金兵南下，东京（今开封）守将杜充在河南省汲县和滑县之间人为决堤，造成黄河改道，大部分黄水从泗水分流入淮；南宋绍熙五年（1194年），黄河南决，从此长期夺淮入海，大量泥沙淤泥使淮河入海出路受阻，盱眙与淮安之间的洼地逐渐形成今洪泽湖，并冲淮南堤溢流坝，沿三河入宝应湖、高邮湖，经邵伯湖由夹江在三江营入长江。
12世纪90年代以前，淮水洪泽湖以西干流大致与今天的淮河相似，下游流经今江苏省盱眙县后折向东北，经淮安市于响水县南部的云梯关入海。当时沂河、沭河、泗河都是淮水的下游支流。由于黄河“善淤、善决、善徙”，不仅多次从北岸决口，淤积海河平原，河道向东北迁徙，而且也多次从南岸决口，淤积淮河平原，河道向东南迁徙，夺淮河入黄海。黄河夺淮后，下游三角洲向东延伸了约50km；淮河故道淤塞后，使淮河从入江水道入长江，使部分长江流域面积变成淮河流域的面积。
清代咸丰五年（1855年），黄河再次北迁改道由山东大清河入渤海，但淮河入海故道已淤成一条高出地面的废黄河，这条地上河将淮河流域分为淮河水系和沂沭泗河水系。
1855年，黄河在河南兰考县境内向北决口，经山东利津入渤海。在1194～1855年的黄河夺淮期间，黄河也多次从南岸决口黄水从淮河北岸支流涡河、颍河入淮河干流，直到明清才形成较稳定的河道。
1938年抗日战争时期，国民党当局为阻止日军西进，在郑州附近的花园口炸开黄河南堤，黄河主流自颍河入淮，直到1947年花园口堵复上，黄河又泛滥达9年之久，淮河北岸支流又一次普遍遭到破坏。
受黄河长期侵淮夺淮的影响，地形和水系发生了很大变化，古济河、钜野泽和梁山泊已消失；河床普遍淤高．且留下了废黄河河床；形成新的湖泊如洪泽湖、南四湖和骆马湖。因此，中华人民共和国成立前，淮河水系紊乱，排水不畅或水无出路，造成了“小雨小灾、大雨大灾，无雨旱灾”的局面。中游的水下不来，下游的水又流不出，是一条难治之河。
