徐州历史悠久，6000多年前，徐州的先民就在此生息劳作。原始社会末期，尧封彭祖于今市区所在地，为大彭氏国，徐州称彭城自始起。
春秋战国时，彭城属宋，后归楚，秦统一后设彭城县。
楚汉时，西楚霸王都彭城。西汉设彭城郡，东汉设彭城国、都彭城。
三国时，曹操迁徐州刺史部于彭城，彭城自始称徐州。
魏晋南北朝各代曾设彭城国或徐州，都城或治所多在彭城。
隋时设徐州，后改彭城郡，治彭城。
唐初，徐州与彭城郡名称多次互易，中后期徐州为节度使驻地。
五代时各朝置有徐州，治彭城，领7县。
宋元两朝都置徐州，隶属和辖领变化较频。
明初徐州曾直隶京师，后属南京。
清初，徐州先后为江南省和江苏省所属直隶州，雍正末年升为徐州府，辖领1州7县。
民国初，府废，徐州府地附郭铜山县，后曾设徐海道，治所在铜山（徐州）。
日伪时由铜山县析置徐州市，曾为伪淮海省省会。抗战胜利后，国民政府仍置徐州市，属江苏省。
中华人民共和国成立后，保留徐州市，初为山东省辖市，后划回江苏省，并同时成立徐州专区，驻徐州市，辖11县市。此后，徐州市和徐州专区并存，不同时期辖属有所变化。1983年，江苏省实行市管县体制，撤徐州专区，将所辖6县划归徐州市。徐州市现辖5区6县（市）。
