据下冯塘、新州等地出土石器证实，旧石器时代，本县境内已有人类活动。

    春秋，属吴。

    战国，初属越，后属楚。

    秦置歙县，先属会稽郡，后属鄣郡。

    汉高祖五年(前202)，属楚国；六年，属荆国；十二年，属吴国。景帝前元三年(前154)，属江都国。元狩二年(前121)，鄣郡改为丹阳郡，本县仍属之。建安十三年(208)孙权遣贺齐取黟、歙，并置新都郡。

    三国，属吴新都郡。

    晋太康元年(280)，改新都郡为新安郡，本县仍属之。梁承圣二年(553)，划出新安郡所辖歙、黟、海宁三县，置新宁郡。陈天嘉三年(562)，撤销新宁郡，仍属新安郡。

    隋开皇九年(589)，井入海宁县(今休宁、屯溪)；十一年，复置歙县并置歙州以辖。大业三年(607)，改歙州为新安郡。义宁(617—618)中，汪华迁郡治于本县乌聊山。直至清末，郡、州、路、府治一直未变。

    唐武德四年(621)，复改新安郡为歙州；天宝元年(742)，歙州又改为新安郡；乾龙元年(758)，新安郡仍改为歙州，本县隶属不变。

    宋宣和三年(1121)，歙州改称徽州。元至元十四年(1277)，改称徽州路。至正十七年(1357)，改称兴安府；至正二十七年(1367)，朱元璋改兴安府为徽州府，直至清末。本县隶属一直未变。

    民国元年(1912)，废府留县，直属安徽省；3年6月，属芜湖道；17年8月，废道， 直属安徽省；21年10月，属安徽第十行政督察区；29年3月，属皖南行署；同年8月，属皖南行署第七行政督察区；抗战胜利后，皖南行署撤销，属安徽省第七行政督察区。

    1949年4月28日，本县解放，属皖南区人民行政公署；同年5月13日，属徽州专区；1956年3月，属芜湖专区；1961年4月，属徽州专区；1974年以来，属徽州地区。