古代日本有地理区划和行政区划2种
道、地方、国（州）、郡、乡、町
道是最早的行政区划的一种，后来藩制后，演变成地理区划，以京都为中心，将京都附近称为畿内（一共有五国），其余地方按长线划分为七道，统称五国七道。东南一长线为东海道，东中一长线为中山道，东北一长线为北陆道，西北一长线为山阴道，西中一长线为山阳道，南部和四国岛形成的长线为南海道，九州岛为西海道，明治维新前后虾夷（即阿伊努）岛改称北海道。道的官员称观察使，简称观察，后实际废止。
地方是藩制兴起后形成的，与道不完全相同。在室町后期、安土桃山时期、江户时期一般取代道作为大区的划分。地方的划分并不完全统一，主要有：近畿地方（比畿内要大）、东海地方（比东海道要小）、关东地方、奥羽地方（后称东北地方）、北陆地方（与北陆道相同）、甲信地方（有时纳入东海地方）、甲信越地方（甲信地方和越后）、中国地方、四国地方、九州地方（与西海道相同），北海道设立后，又增加北海道地方，现在日本则是将东海地方、甲信地方、北陆地方合称中部地方。
国，即令制国，又称州，早期是道下的行政区划，后演变为地理区划。大约在八世纪后稳定为66国2岛（2岛相当于2国），国的官员称守护，简称守；藩制兴起后，守护仅仅是大名或武士的官衔，并非实制管辖，而日本有些武士得到某某守护的官职后，会将中间名改用某某守，而他的后代虽然没有这个官职，但有时也会将这个某某守的中间名世世代代传下去。明治维新前后，奥羽2国分割为7国，另北海道增加14国。
郡是国下的行政区划，历史上一直不太稳定。
乡是国下的行政区划，明治维新后废除，明治大合并时，往往以之前的乡为基础，将数村合并为一村，使得村实际上取代了乡（原村改用大字）
村是最基层的行政区划，日本古代武士的石高，是以村为基础的，即使一个村分属多个大名或武士，也只是村长按收成比例统一纳粮，而不是将村分割成多个区域分别纳粮。
町是商人社会形成的区划，最早的町就是一个小街区（几条小巷围出来的区域），所以一个大名的一个主要城镇，可以有上百个町。明治维新后，一般将一个小城镇统一为一个町，明治大合并后，不少町还包括郊区。
藩制兴起后，实际就是藩镇，所以藩成了实际的行政区划。桃山政权统一后，对地方的管理完全就是藩制了。江户时期，藩的辖区和名称往往兴废不已，但大约总数一直在三百多个，所以称江户三百藩。跨国的藩，往往会以国为第一层级的管理区划；跨郡的藩，多数会以郡为第一层级的管理区划。
桃山政权、江户幕府对于直辖区则用代官（代官是原来原来的守护代演变出来的，守护代是一个大名兼任多个守护后，由于实际只负责一个国的事务，其余的国就派谴守护代，即代理守护的意思）。江户时期直辖区称天领（好地方几乎都是天领），分布在全国不连续的区域内，大的区域派代官，小的区域派郡代负责，或者干脆由各藩的大名兼管。
所以明治时期，直接将藩改为县，天领重要的地方设府，大的分割为数县，中等的直接划为县，小的并入邻近县。
