宋属积善乡，明属南架普安里、迁乔里、乔保理。
清沿袭明制。
1934年设大凤镇、南山乡，属第四区（大凤）。
1939属第四区（吉溪）。
1941属第一区（下道）。
1946称大凤镇，属南平县。
1949年8月，属第二区（大垻）。
1950年10月，分设大垻乡、凤池乡、南山乡、村尾乡、折竹乡，属第二区（凤池）。
1956年8月，调整为大凤乡、南山乡、龙湾乡，属大凤区。
1958年11月，大凤飞跃人民公社。
次年，改为大凤公社。
1961年9月，设大凤公社、江边公社，属大凤工委。
1963年3月，江边公社并入大凤公社。
1984年9月，改为大凤乡。
1992年1月，撤销大凤乡，成立南山镇，驻南山村。
1995年1月，撤市设区，属南平市延平区。
1998年，成立华兴街、明前街、长春街、中山街4个村。
2000年，撤销南山社区。