歙县创始于秦王政二十五年（前２２2年)平定江南楚国旧贵族后置会稽郡（治吴，今苏州市区），在皖南浙西山区置歙县（治今徽城镇），是安徽江南地区最古的古县之一。当时歙县范围很大，包括今歙、休宁、绩溪县、黄山市屯溪、徽州区及黄山区汤口镇，浙江淳安县（含１９５８年并入淳安的遂安县）及江西婺源县东北地区。
县名据《说文》“歙”（），地名，从邑，翕声。由来向主两说：一种说法是以县南歙浦命名，县名缘于水名。此说以《旧唐书地理志》说歙县“南有歙浦，因以名”为代表。宋乐史的《太平寰宇记》也说：“本秦旧县，有水口名歙浦，因浦以名。”类似说法还有清顾祖禹《读史方舆纪要》、《南畿志》及旧县志。另一种说法是以境内群山起伏，峰峦巅连，河流纵横，曲折潆回的壮美景色而命名，是美称。此以著名的南宋罗愿所撰的《新安志》为代表，说：“歙者，翕也。谓山水翕聚也。”其早期的根据是《汉书·地理志》颜师古注：歙，“章摄”，“歙”与“翕”通。现据原歙县环境，应为以山水翕聚为县名为正，歙浦是以县名水。理由是歙浦是一个无名的小水，不可能作为江南少有的大县名称。歙浦位今县南练江、新安江汇合处。《清史稿·地理志》说：“歙浦在县南，练江、渐江合流于此。”歙浦，亦“谓之浦口”，也是历史上著名的名胜处。
