山东省位于中国东部沿海、黄河下游，陆域位于东经114°48′～122°42′、北纬34°23′～38°17′，东西长721.03公里，南北长437.28公里。境域包括半岛和内陆两部分，山东半岛突出于渤海、黄海之中，同辽东半岛遥相对峙；内陆部分自北而南与河北、河南、安徽、江苏4省接壤。全省陆域面积15.58万平方公里， 海洋面积15.96万平方公里。省会为济南市。
山东，最初作为一个地理概念，主要指崤山、华山或太行山以东的黄河流域广大地区。金大定八年（1168年）置山东东路、山东西路，设山东东路统军司，“山东”始作为政区名称。明洪武元年（1368年），置山东行中书省。清初设置山东省，“山东”才成为本省的专名。因西周封邦建国时，今山东境内曾存有齐、鲁、曹、滕、卫诸国，周公旦封于鲁，所以现在山东省简称“鲁”。
山东行政区划溯源，与全国一样，大致萌芽于夏代。在氏族部落基础上联成的一些“方国”，孕育着行政区的胚胎。
夏商时期，今山东地域范围的方国，文献上记载的有130多国。其中，夏后氏后国和夏世侯伯之国13个，商氏后国和商氏侯伯之国15个，东夷族氏族部落演进为国者100多个。
西周沿袭以血缘关系为基础的分封制，对原商王朝统治的广大地区实行“封邦建国”。今山东地区的封国主要有：太公吕尚（姜子牙）受封的齐国和周公旦受封、其子伯禽代受封的鲁国。山东被称为“齐鲁之邦”或简称“鲁”，即由此而来。齐、鲁两大国之外，还有与周王朝同姓（姬）的曹、滕、郜等国。同时，夏商时期山东境内的古国大多数继续存在于西周。到春秋时期，史籍记载的山东古国有55国之多，主要有齐、鲁、莱、莒、滕等国。
战国时期，山东地区主要有齐国和鲁国，并有楚、越、魏、赵、宋等国各一部。齐国作为“战国七雄”之一，占据了今山东的大部分地区。
秦统一后，在山东分置齐、琅琊、东海、东、薛等郡。西汉初有十郡六国，东汉分属青、兖、徐、豫四州，三国时大体略同。
西晋初山东分属青、徐、兖、豫（统鲁郡）、冀（统平原、乐陵）五州。永嘉以后，先后为后赵、前燕、前秦、后燕、南燕、东晋、刘宋、北魏、东魏、北齐、北周所据有。
隋统一后，分属青、徐、兖、豫四州。唐代，河、济以南属河南道，以北属河北道。
北宋时山东分隶京东东路、京西西路及河北路。金大定八年（1168年）置山东东路、山东西路，设山东东路统军司，治益都。
元朝分置燕南河北道、山东东、西道肃政廉访司及山东东西道宣慰司，直隶中书省。
明洪武元年（1368年）置山东行中书省，治青州。洪武九年（1376年），移治济南，又改置山东承宣布政使司。
直到清代，始将山东政区的名称定为“山东省”。清末，山东省有济南、东昌、泰安、兖州、沂州、曹州、登州、莱州、青州、武定10府，济宁、临清、胶州3个直隶州，共辖8个散州96个县。
中华民国初期，划分为济南、济宁、胶东、东临4道，属县107个。1928年废道，各县直属省。1937年10月，日军侵占山东，国民党省政府流亡。
1938年7月，中共苏鲁豫皖边区省委发出关于恢复县、区、乡政权的指示，到年底有12个县成立了抗日民主政府。1939年7月，中共山东分局将山东划分为3个区和2个特区：胶济路南、陇海路北、津浦路东为一区，津浦路西为二区，胶东为三区，湖西、清河为特区。1940年8月，山东省战时工作推行委员会成立，下辖16个专员公署，88个县。1943年9月，山东省战时工作推行委员会改名为山东省行政委员会，下设5个主任公署及滨海直属专员公署，共辖18个专署和92个县级政权。1945年8月，山东省行政委员会改为山东省政府，下设5个行政公署，共辖21个专署、119个县。
1949年3月，山东省政府改称山东省人民政府，下辖14个市（包括济南、青岛、徐州、潍坊4个省辖市）、140个县、2个办事处、2个特区。1950年，将原来的16个专区合并为滕县、临沂、泰安、沂水、德州、惠民、淄博、昌潍、胶州、莱阳、文登11个专区。
1952年，平原省撤销，所属聊城、菏泽、湖西3个专区29个县划归山东。原河北省临清、馆陶、恩城、夏津、武城5个县划归山东，将山东的东光、吴桥、宁津、庆云、盐山、南皮6个县划归河北。徐州市、新海连市及丰、沛、华山、铜北、赣榆、邳、东海等县划归江苏。
1953年6月，滕县专区更名为济宁专区。7月，撤销湖西专区和沂水专区，将其所属县市分别划归济宁、菏泽和临沂专区。1954年12月，撤销淄博工矿区，设立淄博市。1958年，莱阳专区更名为烟台专区。1960年，撤销峄县，设立枣庄市。1963年，河南省东明县划归山东。1964年，范县划归河南。1965年，馆陶划归河北，河北省的宁津县、庆云县划归山东。1967年，专区更名为地区，全省共辖德州、惠民、昌潍、烟台、临沂、泰安、济宁、菏泽、聊城9个地区，济南、青岛、淄博、枣庄4个省辖市，5个县级市，107个县。
1981年5月，昌潍地区更名为潍坊地区。1982年11月，设立省辖东营市。1983年10月，撤销烟台地区、潍坊地区、济宁地区，设立地级烟台市、潍坊市、济宁市。1985年3月，撤销泰安地区，设立地级泰安市。1987年6月，威海市升为地级市。1989年6月，日照市升为地级市。1992年3月，惠民地区更名为滨州地区，1992年10月，莱芜市升为地级市。1994年12月，撤销临沂地区、德州地区，设立地级临沂市、德州市。1997年8月，撤销聊城地区，设立地级聊城市。2000年6月，撤销滨州地区、菏泽地区，设立地级滨州市、菏泽市。