1961年4月，新中国在皖南设立了徽州专区。1971年，改徽州专区为徽州地区。

1983年12月，划徽州地区歙县黄山乡、石台县广阳乡和太平县建立县级黄山市，由省直辖。

1987年11月，经国务院批准，废除徽州建制，以境内山岳“黄山”之名设立地级市。

1988年7月，地级黄山市正式成立，辖三区四县，即：屯溪区、徽州区、黄山区、歙县、黟县、休宁县和祁门县。