明朝初期,仍为乐清县玉环乡。明洪武二十年(1387年),因倭寇扰边,徙居民为内地,今楚门港(漩门港)以南玉环本岛等地全部被迁弃。成化十二年(1476年),析乐清县山门、玉环两乡6都地隶太平县,属台州府,县境港北地区归属太平县,港南地被游民私种。 [4]
清初,县境港北仍为太平县地,港南仍被游民私种。顺治十八年(1661年),清政府下令撤边海30里,境民全被内迁。楚门半岛地区亦遭迁弃。境内塘塌地废,一片荒芜。雍正五年(1727年),浙江巡抚李卫奏请展复玉环。钦准招徕沿海居民(大部分来自温州、台州两府沿海居民),报荒垦种,展复玉环,境业再衍。雍正六年(1728年),设玉环厅为温州分府,政务直隶省。至此,玉环始有独立行政建制。