大唐朝,砀山县属宋州睢阳郡(今河南商丘)。
五代后梁光化二年(899)朱全忠以砀山、单父、虞城、曹州之域表置辉州。后唐砀山县属单州。
北宋朝,属单州(今山东单县)。
金兴定元年(1217),砀山县改属归德府(今河南商丘)。兴定五年升永城县为永州,辖下邑、砀山、郏三县,芒砀山一带重属砀山县所辖。
元宪宗七年(1257),属东平路。
元至元二年(1265),降永州为永城县,芒砀山区再属永城县。 是年,砀山县并入单父县。至元三年,复置砀山县,属济州(今山东济宁);八年,属济宁路(今山东)。
明洪武八年(1375),砀山县属徐州(今江苏)。
清雍正八年(1730)升徐州为府,砀山县属徐州府。
民国元年(1912)砀山县属江苏省徐海道;
37年11月,砀山县属江苏省徐州所辖。