日本的行政区划分为国家、都道府县、市町村三级。都道府县和市町村都叫地方公共团体，实行地方自治，即按照居民意愿，根据民主原则，实施地方的政治和行政。
市町村是与居民关系最密切的基层地方公共团体，都道府县是包括市町村的广域地方公共团体。从理论上讲，市町村与都道府县只有执行事务范围的不同，并无上下级之区别。但现阶段，日本的地方自治是不完全的，国家通过各种途径，除法律规定者外，主要通过财政手段，对县和市町村进行干预。所以，都道府县事实上是市町村的上级机关。
日本把市町村作为一级行政单位，作为基层行政组织，始于1888年。当时的明治政府实行町村制，将旧时各自独立、实行村落自治的自然村，加以合并，建立地域范围要广得多的行政町村。在战后的1953—56年间，又进行了一次大合并，产生了不少新的市，市町村的区域也进一步扩大。日本的村县有浓郁的农村和农业特点，相当于我国的乡；町比村具有更多的城市特点，相当于我国的镇；市下不设区，也不设综合性的派出机构，只根据单项工作的需要，设立若干个事务所、窗口等。据1986年底统计，日本全国共划分为47个都道府县，即1都（东京都）、1道（北海道）、2府（京都府、大阪府）、43个县。其中面积最大的是北海道，83519平方公里，最小的是大阪府仅1876平方公里；人口最多的是首都—东京都，1200万人，最小的是乌取县，仅62万人。都道府县一般平均8000平方公里，250多万人。全国的市町村共有3250个，其中市635个，町2006个，村591个。市、町、村一级人口最多的是横滨市，300万人（如不包括指定都市，则界市的人口最多，80万），最少的是富山村，210人；面积最大的是足寄村，1400平方公里，最小的是市鸥町，仅1.5平方公里；平均每个市、町、村116平方公里，37000人。其中，平均每个市约有人口10.2万人，面积153平方公里；町村平均有人口约1.1万人，面积105平方公里。
此外，日本还从自治政策的观点出发，为了特定目的，设立了一些不同于都道府县和市町村的特别地方公共团体。特别地方公共团体分为特别区、地方公共团体组合、财产区和地方开发事业团等四种类型。
1、特别区。特别区只在东京都下设立，它是独立的地方自治体，权限相当于市，但一部分权利（如税收）受到都的限制。东京都下共设立了23个特别区，全国也只有这23个特别区，和市町村一样，是全国的基层行政区域。
2、地方公共团体组合。地方公共团体的组合，是为了共同处理地方公共团体的事务而设立的特别团体。地方公共团体的组合，由若干个地方公共团体（即都道府县和市町村）根据有关公共团体的协议，签定协约，分别报送自治大臣或都道府县知事审批设立。组合县有独立的法人资格；设管理者和议会，管理和议会是加入该组合的各地方公共团体的代表。地方公共团体的组合根据处理事务的多少，可分为三种类型：一种是为诸如消防、义务教育、垃圾处理等单一事务而组织的一部事务组合；另一种是为共同进行公所事务而组织的公所事务组合；第三种是共同进行所有事务的全部事务组合。目前，日本全国共设有3000多个公共团体的组合，其中大部分是市町村的组合，其发展趋势是逐步由一部事务组合向为多种目的而设立的组合发展。
3、财产区。财产区是市町村以及特别区的一部分，它是准许进行管理和处理财产或公共设施的特别地方公共团体。财产区分为两种类型：一是现在的市町村制实施之前的旧町村时代所有的财产，经过明治时代合并町村之际，转变为财产区；另一种是由于町村的合并，在这些市町村中具有一部分财产或公共设施时，为管理、处理这些财产而设置的财产区。财产区是市町村合并以后的产物，其范围与初合并的原市町村的范围相一致。
4、地方开发事业团。地方开发事业团是为一定地域的综合开发而设立的特别地方公共团体。它的权力只限于建设和处理公共设施，没有保养和管理公共设施的权限。为了提高工作效率，地方开发事业团只设理事会，不设管理者和议会机构。
特别地方公共团体，除特别区的地方公共团体的组合，经自治大臣或都道府县知事批准，可以算作一级行政区域以外，其它两种都不能算作一级行政区域。
同时，为了解决大都市存在的问题，日本战后制定的《地方自治法》曾规定设立与都道府县平行的特别市（相当于我国的直辖市），因拟设特别市的市所在府县的反对，设置特别市的具体法规始终没能通过。为此，日本政府于1956年修改了《地方自治法》，将特别市改为指定都市。指定都市的条件是：凡是人口超过50万以上，比较发达并由内阁通过政令指定的城市。国家给予其一部分相当于都、道、府、县的职权，与一般市相比，享受城市规划、预防传染病、举办各类福利事业等17项特别权限。这样，指定都市的许多事项可以不受都道府县的监督，直接由主管大臣指导，在许多方面类似于我国的计划单列市。现在日本共有10个指定都市，它们是：大阪、名古屋、京都、横滨、神户、北九州、川琦、福冈、札幌、广岛。这10个城市人口都超过了100万。此外还有界市等8个城市人口已超过50万，这些城市要求成为指定都市，但一直没有得到自治大臣的批准。指定都市可以设区，区可根据需要设事务所或出张所。目前，10个指定市共设111个区，平均每个市设11个区，每区平均14万人，最大的达50多万人。但这些区与东京都的特别区不同，它们不是地方公共团体，而只是一级派出机构，不设议会，县区市由市长任命。指定都市由有关市提出申请，报自治大臣决定。
日本市的设置有四项条件：①人口在5万以上；②中心市区的居住户数占全市总户数的60%以上；③从事城市性业务的人口占总人口的60%以上；④按照都道府县条例的规定，具备都市的一切必要设施，如高等学校、图书馆以及环境卫生、社会服务设施状况等。为了推动町村的合并，日本曾两度降低市标准，规定在特定时期内，人口在3万以上的町村也可设市，因此现有的市中有一些不足5万人。设市由有关町村提出申请，经都道府县议会通过，同自治大臣协商同意后设立。
町的设置条件由都道府县自行规定，如东京都规定町的构成条件有三：①人口在1.8万以上；②中心地区的居住户数占全地区户数的50%以上；③从事工商业及个体经营的人口为全地区人口的80%以上。
