秦始皇攻占赵国后，设恒山郡，但范围较小，不包括北面的恒山，治所在东垣县，在今石家庄市东。
西汉时，汉高祖沿郡置，后为避汉文帝刘恒讳而改称常山郡，且范围扩大，北至恒山南至逢山长谷一带。
东汉光武帝时，将真定国并入常山郡，郡改称常山国。
西晋时，常山郡西南分置乐平郡，元氏县归属赵国。
天宝元年，改恒州为常山郡，十五年常山郡更名平山郡，乾元元年废平山郡，复置恒州。后又为了避唐穆宗讳改为镇州，到北宋升为真定府，常山不再作为郡国之名。
常山郡地处河北腹地，战略地位重要，自古以来都是北方的重要郡府，有很多世家大族在此扎根繁衍，现在就古代常山的四大名门望族进行一一详解。
常山贵氏：贵氏是一个多民族、多源流的古老姓氏群体。其一源于姬姓，出自颛顼帝的玄孙陆终之后，属于以封邑名称为氏，史称贵氏正宗，是非常古早的姓氏之一。其二源于姬姓，出自西周时期八天官之第六，属于以官职称谓为氏。其三源于姜姓，出自苗族先祖蚩尤之后裔，属于以贵族身份为氏。其四源于芈姓，出自春秋战国时期楚国公族后裔，楚国公族中有被分封于贵邑者，其后裔子孙中有以先祖封邑名称为姓氏者，称贵氏，世代相传至今。其五源于嬴姓，出自少昊金天氏后裔伯益的后代造父，属于以氏族图腾为氏。其六源于地名，出自春秋时期骆越之地，属于以居邑名称为氏。其七源于姜姓，出自秦、汉时期古西羌族酋首贵霜王朝，属于汉化改姓为氏。其八源于鲜卑族、丁零族、满族等汉化改姓。
贵氏的主要郡望为常山郡、东阳郡。贵氏的主要堂号有常山堂、东阳堂。其中贵氏常山堂，以望立堂。在今广西壮族自治区，云南省，河南省新乡市下辖的卫辉市、延津县，北京市，四川省的绵阳市三台县，湖南省的常德市、龙山市，湖北省的襄樊市，浙江省的衢州市，辽宁省的营口市，山西省的太原市，台湾省等地，均有贵氏族人分布。
常山武氏：武氏是一个多源流姓氏群体。其一出自以国名为氏，夏臣武罗被封武罗国，后国亡，其后子孙以国名为氏，称武姓。其二出自子姓，出自商王武丁之后，以祖名为氏。其三出自姬姓，周平王少子生而有文在手日武，因手掌上有一武字形状纹路，故被赐为武氏，为周朝大夫，后来他的子孙因而以武为氏，史称武姓正宗。其四出自以邑名为氏，汉朝有武强王梁，封地在今河北省武强县，其后代因封地武强简为武氏。其五出自春秋时宋武公之后，以谥号为氏。春秋时宋戴公之子司空，死后谥号为武，史称宋武公，其子孙以其祖之谥号为氏，亦称武氏。
武氏主要郡望有太原郡、沛郡。武氏的主要堂号有鬻薪堂、太原堂、常山堂、庐陵堂、乐善堂、平阳堂、荥阳堂、吴兴堂等。当代武姓主要分布在河南、河北、辽宁、山西四省，其中河南为武姓第一大省。
常山张氏：张氏是一个多民族、多源流姓氏群体。其一出自春秋时晋国有大夫解张，字张侯，他的后代以其字命氏，称张氏。其二出自上古黄帝之孙挥，属于以官职称谓为氏。其三出自乌桓、契丹、阿昌族、纳西族、女真、鲜卑、匈奴、僳僳族、瑶族、壮族、黎族、高山族、藏族等汉化改姓。
当代张姓为全国第三大姓，主要集中于河南、山东、河北三省，其次分布于江苏、四川、安徽、辽宁、黑龙江、湖北六省，其中河南为当代张姓第一大省。全国形成了以长江为界的高比率的北方张姓区和低比率的南方张姓区。
张氏郡望共有26个，分别是清河郡、范阳郡、太原郡、京兆郡、南阳郡、冯翊郡、吴郡、平原郡、敦煌郡、安定郡、襄阳郡、洛阳郡、河东郡、始兴郡、河间郡、中山郡、魏郡、蜀郡、梁郡、汲郡、高平郡、武威郡、犍为郡、沛郡、河内郡、上谷郡。张氏的总堂号为清河堂。
常山孔氏：孔氏是一个古老、多民族、多源流的姓氏群体。其一出自商朝君主成汤之后裔，其子孙中有一支以商族的姓子与成汤名字中的乙组合起来，为子姓孔氏。其二出自春秋时期卫国大夫姬孔悝之后，属于以先祖名字为氏。其三出自宋国司马孔父嘉之后，孔父嘉遭受迫害逃到鲁国，以其名字中的孔为氏，孔父嘉的六世孙为孔子。其四出自春秋时期陈国大夫孔宁，属于以先祖名字为氏。其五出自春秋时期郑穆公姬兰之后，郑穆公姬兰有后人名姬孔张，在其后裔子孙中，有以先祖名字为姓氏者，世代相传至今，史称郑国孔氏，属于以先祖名字为氏。其六出自满族、土家族、苗族、回族等汉化改姓。当今孔姓族人分布很广，尤以山东、江苏、吉林多此姓。
孔氏的主要郡望为鲁郡、京兆郡、河南郡、会稽郡、鲁国、常山、南阳等。孔氏的主要堂号有阕里堂、至圣堂、鲁郡堂、京兆堂、河南堂、会稽堂、常山堂、南阳堂等。其中孔氏常山堂，以望立堂。
常山的世家大族和很多河北的世家大族一样，随着北方少数民族的南下，他们首当其冲，历经五胡、辽、金、元的南下冲击，他们逐渐隐没于历史长河中了。