如果从秦始皇统一六国，在全国普遍推行郡县制算起，中国全国性的行政区划已经实行了2200多年。在此漫长的年代间，不仅以中央集权制度为基础的行政区划制度长期保持稳定，而且一些具体的行政区域也往往持续几百上千年，有些县的存在甚至已超过2200年。在中国所有的制度中，行政区划制度是持续时间最长、相对最稳定的制度。正因为如此，我们今天对现行行政区划制度的认识和任何可能的改革，都必须建立在充分了解历史的基础之上。限于篇幅，这里就谈两个方面：
一是一级政区设置中一些特殊因素。
行政区域的设立和划分，既是国家进行日常管理的需要，也关系到政权的巩固，因此必须兼顾内政和外交、自然和人文、经济和文化、传统和现实等各种因素。由于不同时代、不同形势、不同区域、不同统治集团的需要和利益不同，侧重点和出发点也有差异，但基本原则却是一致的。而一种行政区域或区域类型的设置如能长期延续，特别是在政权更迭后仍不改变，就足于证明这类设置的合理性，至少能证明是利大于弊。另一方面，由于时过境迁，客观条件发生了变化，原来的利也可能转变为弊，因此适当进行必要的调整，也是完全必要的。
在生产力落后的古代，自然地理条件对人类社会起着更大的、有时甚至是决定性的作用，对行政区划也是如此。因此古代对行政区域的设置，往往强调应按照自然地理条件，即“山川形便”。即使如此，自然条件只是诸多因素之一，“山川形便”并非唯一或决定性的条件，必要时中央政府会有意识地打破自然条件的制约，造成“犬牙交错”的局面，以利于防止和破坏分裂割据。
这一点已经得到在长沙马王堆汉墓出土的古地图的证实。在其中的《驻军图》上，汉朝与南越国之间的界线，并非沿南岭山脉的分水岭划定，而是或南或北，不时越过山脉深入南侧。显然，这样的划界使中央政府能控制南越的战略要点，使南越无法利用天然屏障形成完整的防线。
这一原理在元朝得到进一步的运用，具体反映在秦岭南北政区的变化。自秦汉至宋金，秦岭历来是不同一级政区之间的天然界限。但从北宋末年开始到蒙元，秦岭一直是南北政权争夺的焦点，也是南方政权对抗北方政权的有利因素。元朝统一南北后，首都设在北方，自然希望造成北方对南方的优势，因此将地处秦岭之南的汉中盆地划给本来在秦岭以北的陕西，打破以四川盆地为中心的封闭性地形。这样的划分当然不无弊病，特别是在经济和文化方面，直到今天，汉中盆地一带的经济文化与关中还有很大区别，而更接近于四川；由汉中至关中的交通比从汉中去四川更困难；但政治和军事上的优势是相当明显的。由于此后的明、清都建都于北方，这条界线延续至今。
1368年朱元璋建都于应天府（今南京）后，曾划定一片范围很大的中央直辖区。他深知南京偏于南方，不利于控制北方和西北，曾先后将西安和开封列为迁都候选对象。在得知西安、开封完全不适合建都后，又决定在故乡（今安徽凤阳）兴建中都。这一宏大规划虽因不切实际及朱棣迁都北京而废止，却留下了一个相当于今江苏、安徽和上海市在内、跨长江和淮河两个流域的一级政区——南直隶（南京）。清初继承了这个政区，只是改名江南。但这个政区毕竟太大，长江以南部分又是天下财赋之地，在全国所占比例过高，因此决定由北而南一分为二，成为此后的江苏（含今上海市）和安徽两省。当年分省时当然不会不考虑自然条件，也可以将这一区域按南北划分，即将长江流域和淮河流域分别划为不同的政区。但苏南与苏北，皖南与淮南、淮北之间在经济和文化上的差距实在太大，如果按南北划分的话，就会出现一个全国最富的政区和一个相当穷的政区，所以结果还是由北而南划分为东、西两个政区。这样的分法并非没有矛盾，因此从清末至民国期间都有重划苏、皖省界或设立“淮海省”等各种建议。不过直到今天，除了上海市早已另设为直辖市以外，苏、皖两省的界线基本还是明朝的南京和清初的江南的旧界，而两省间的界线也与当初划界所定大致相同，说明这样的划分的合理性是主要的。
大政区的设立和划分往往体现中央集权的需要，甚至出于某种特殊的需要。例如上世纪50年代以降天津政区地位的变化，显然与毛泽东的个人意志有关，特别是他对以彭真为首的北京市委的看法和他对“两个司令部”形势的估计，起了决定性作用。所以天津始而由直辖市降至河北省会，又降至地级市，但在60年代初却又升为直辖市。本来，在离北京如此近的地方没有必要再设立一个直辖市，因为当时全国除了北京市外只有一个上海市，即使要设第三个，完全可以选择东北、西北、西南、中南、南方中的任何一个，无论如何都不必在华北设第二个。从天津在经济、文化甚至军事上的重要性来说，也找不到明显的理由，唯一的原因是“政治”。联系到文革前夕毛泽东对北京市委“针插不进，水泼不进的独立王国”的指责和“二月兵变”的谣言，尽管我们还没有找到确切的证据，但可以肯定这是毛泽东所采取的特殊措施。退一步说，如果没有毛泽东的首肯，主持中央政府日常事务的国务院总理周恩来是不可能作出这样决定的。时至今日，天津虽还维持着直辖市的地位，却一直处于相当尴尬的处境：作为中国仅有的四个直辖市（且不说重庆实际是一个特殊的省）之一，天津能发挥的地区性作用却相当有限，更不用说它的全国性影响。相反，北京东扩、“大北京”（即包括天津在内）和“京津唐城市带”的建议或规划不时见于报道。今后天津如不并入北京，或与北京有明确分工以便互补互利，就不可能摆脱“直辖市”名实不符的窘境。
另一个例子是内蒙古自治区的支解和恢复。文革期间，内蒙古自治区的东部和西部分别被划入黑龙江、吉林、辽宁和甘肃四省，当时公开的理由是内蒙辖区太大，东西、南北相距太远，开“积代会”（活学活用毛泽东思想积极分子代表大会的简称）时最远的代表路上要花半个多月。但没有公开宣扬的理由却是为了防止“内人党”（“四人帮”制造的“内蒙古人民党”冤案，实际并不存在）搞民族分裂，防止他们与“苏修”勾结，巩固边疆。文革结束后，内蒙古自治区的辖区完全恢复原状，主要出发点却是消除后者的影响。但前者也是客观存在，所以完全不予考虑也是不合理的。例如，如果从经济文化的发展和交通运输的便利考虑，内蒙古与东北三省为邻的地区改由该省管辖，比由距离远得多的呼和浩特管辖更合理和有效。但两者显然无法兼顾，只能在权衡利弊和轻重缓急后作出选择。
总之，一级政区的形成、变化或稳定都有其多方面的原因。尽管其中一些因素因时过境迁，已不再起作用，甚至已起相反的作用，但是否已达到必需使一级政区实行相应的变化的程度，必须作深入细致的了解和和估价。
二是确定政区层级的根据。
行政区划的另一个重要方面是政区设置的层级。秦始皇建立郡县制时，从中央到地方中间只有两级，即郡和县。开始全国号称“三十六郡”，以后经过增加和调整，有近50个（一般说法有46-48个，但近年从湖南里耶秦简所见又有“洞庭郡”，可能还有个别未见于现存史料记载者）。到公元初的西汉末年，全国设有百余个郡级政区和1500多个县级政区，管辖面积三四百万平方公里。中央政府直接管辖百余个政区，平均每个郡级单位管理一二十个最多三四十个县级单位，在当时的交通运输条件下，政令的上通下达、人员和物资的征调流通大致能够正常维持，所以两级制尚未发生根本的变化。
但早在西汉中期的武帝时代，随着疆域的扩展，中央政府对边疆地区的政区已有鞭长莫及之势。例如，在平定南越国后，最南的郡县已在今越南中部；东北最远的政区已在朝鲜半岛中部；西南的郡县达到今中缅、中老边境；河西诸郡的西端直抵玉门关（今敦煌西）。因此，朝廷在首都所在的特别监察区“司隶校尉部”以外又设置了13个监察区——“州”。每州分别监察若干郡级政区，全国的郡级政区无一例外。宣帝时在今新疆和中亚设置西域都护府，由于距离过于遥远，范围又过于广阔，因此只派遗少量将士和行政人员，实行军事监护，在其内部实行高度自治，原来的治理方式，包括众多的“国”完全保留。
东汉期间，原来监察性质的州逐渐演变为郡以上的一级政区，郡县两级制变成了州郡县三级制。此后，虽有相当复杂的变化，但都不外于虚实两种三级制。对此，谭其骧先生作过总结：“秦和西汉初期疆域比较小，其时所采用的单纯二级政区制，自汉武帝扩展疆域以后，已不宜于继续采用。但多级制亦不利于政令民情的上下传达，所以二千年来最常用的是三级制。有时用实三级，有时用虚三级。这里所谓虚三级，是指第一级或第二级并不全面掌握地方权力，或一级权力分属于几个机构的三级制而言。粗略统计一下：汉武帝以后的两汉三百年是虚三级；魏晋南北朝四百年是实三级；隋至唐初期一百四五十年是二级制；开元以后先是虚三级，二十多年后即转为实三级；历二百余年至宋初始改为二级。但不旋踵即转入虚三级，历三百年至元代始变为多级制。元明清六百多年显然都是多级制，大多数地区的实级一般都是省、府（路、州）、县三级。辛亥革命后七十多年北洋军阀、国民党、新中国三个阶段，分别采用了不同的虚三级制。”“政区的这些演变规律，一方面正好说明了中国自秦汉以来长期在中央集权制统治之下，所以中央的使者能以监督的名义侵夺地方官的权力，终于使中央使者成为最高地方长官，原来的地方长官降而成为他的下级或僚属。但另一方面，因为由这种方式形成的一级政区辖境、权力过大，所以一到乱世，这种政区的首长很容易成为破坏统一的割据者，犹如东汉末年的州牧刺史，唐安史乱后的节度使和民国的督军、省主席等。”（《中国历代行政区概述》，载《长水集续编》，人民出版社，1994年，第44-46页）
解放之初，我国一度设立大区，即省级政区之上再按地域设立华北、东北、华东、中南、西南、西北六个行政（军政）区，这样在中央之下就形成了大区——省——专区——县四级制。但不久大区撤销，又恢复到三级制。而且三级中的专区一级中虚的，即专员公署只是省政府的派出机构，其首长专员是省长的代表，都不是实际一级政府或行政首长。正因为如此，专区一级不能召开人代会，也不开政协，只有省人大和省政协派出的工作组或联络组。唯一的例外是少数民族自治地区，可能出现省、自治区下辖自治州，州下辖县（或自治县），是实三级。
民国初年废除了前清的府一级，将实三级变为虚三级，并且延续了近70年，并不是偶然的。因为由专制而共和，体现在行政区划的层级上应该体现中央集权的削减和地方权力的增强，是各级行政区治理权的合理分配。同时随着火车、汽车、轮船、自行车、飞机、电报、电话、邮政等交通运输和通讯手段的运用和普及，政令的上通下达、人员和物资的运送都达到了前所未有的便捷，因而一个政区的有效管辖范围可以扩大，中央政府的控制能力可能增强，省和县两级之间的府一级能够虚化。将中间一级政区虚化，也可以精简机构，减少行政人员，节约政府开支，并提高行政效率。
但是改革开放以来，随着“市管县”和“地改市”的推行，我国的虚三级实际已变成实三级，即省——市——县（市）。其中的市（地级），不仅已设置与省级机构和县级机构相应的全套政府，实际管辖着所属的县或县级市，并且通过召开人代会设立了人大常委会。而根据现行《宪法》第三十条规定：第三十条规定：（一）全国分为省、自治区、直辖市；（二）省、自治区分为自治州、县、自治县、市；（三）县、自治县分为乡、民族乡、镇。直辖市和较大的市分为区、县。自治州分为县、自治县、市。也就是，一般情况下，只能有省——县、市两级，只有在“较大的市”才能下辖区、县。严格说来，《宪法》中这个“较大的市”是模糊的，不规范的。因为“较大”既不是定性，又不是一个级别，更没有确定具体的标准，以至原来的“地区”几乎都成了“较大的市”，不仅直接管辖县、县，近年已像直辖市一样，将下辖的县改区了。
究竟是修改《宪法》，使之符合实际状况；还是用《宪法》来规范行政区划？今天的交通运输和资讯手段比上一个世纪又有了飞速进步，照理说，同一级或同一个政区的有效管辖范围和层级都可以大幅度扩大。中央和地方政府合理分权、精简行政机构、减少行政人员、提高行政效率，正是未来改革的目标。那么，我国的政区层级究竟应该是实三级，还是虚三级、甚至实二级呢？
