衡山在五岳中虽然不如泰山的名气大，但是却有一绝，就是在衡山佛道两教并存并荣，放眼全球都是极其罕见的。因佛教在衡山出了很多著名的高僧弘扬佛法，有五大宗出于南岳，和日本、东南亚的佛教国家都有交往，因此衡山也成为东、南亚佛教圣地。
衡山72峰，其中43座在南岳区境内。南岳区面积约181.5平方公里，是湖南最下的县级区，而且一大半都是景区。南岳区距离衡阳市城区约50公里，距离衡山县城约15公里，如果不仔细看地图，一定以为南岳区是衡山县的一个区。实际上，在历史上南岳区境一直是归属衡山县的。
西晋惠帝即位的永熙元年，即290年，原衡阳县更名为衡山县，这是衡山县之始。虽然后来的历朝历代区划名称有变，衡山在衡山县基本上没变，因有衡山，衡山县才名符其实。不过历史上衡山县远比现在大得多。即便是在新中国成立之初，衡山县还仍然包括如今的衡山县、衡东县以及南岳区，不过后来情况就发生了变化。
因为南岳衡山的特殊性，1951年设立南岳特别区，隶属湖南省民政厅，但是因为管理不便，第二年就撤销了，所辖区域重新划归衡山县。只是另外设了南岳管理局这个省民政厅领导的机构来管理衡山风景名胜。
1960年，南岳管理局又改为兼具地方行政职能的县级机构，将南岳公社和南岳镇从衡山县划出，划归南岳管理局领导。南岳管理局也从湖南省下放到地方，归衡阳地区领导。
1963年撤销南岳管理局，设南岳县。三年后，1966年南岳县撤销，辖区又划归衡山县。但是接着衡山县也被以湘江为界拆分成两个县：衡东县（湘江以东）和衡山县（包括撤销的南岳县辖区）。
接下来平静了十多年，但是随着1982年衡山被列为国家级重点风景名胜区，南岳管理局也恢复了。两年后，将衡山县下辖的南岳镇、南岳乡以及望峰乡、马迹乡、东湖乡的十个村子析出，设立具有行政职能的县级南岳区，隶属于衡阳市。湖南省南岳管理局依然保留，实际上和南岳区是一套人马，两块牌子。
南岳区被划出，衡山县就像丢了“心脏”，成了衡山县心中的痛。和浙江湖州没了太湖一样，丢了南岳的衡山县也就变得有点儿名不副实了。更让衡山县人耿耿于怀的是没了南岳衡山这个冒着金光的名片，每年数十亿的旅游收入也飞了。