《诗经·大雅·嵩高》云：嵩高维岳，峻极于天。嵩山自古就被认为是神灵出没，仙人得道的圣地。汉晋以来，佛教、道教已在这里传播。东汉道士张道陵、刘根，三国时道士郗元节，西晋时道士鲍靓等都曾修炼于嵩山。建于东汉时期的洛阳白马寺和嵩山法王寺、慈云寺，建于北魏时期的嵩山少林寺、洛阳永宁寺和嵩山闲居寺（隋改为嵩岳寺，今名）都是举世闻名的佛教寺院。相传仅嵩山一地就兴建有佛寺72座。人称嵩山名蓝以百数，惟少林最著。
少林寺位于河南省登封市西北部，其东北74公里为省会郑州市，正北过鄂岭口即为偃师市，自偃师西北行可达九朝古都洛阳市。少林寺的地理坐标是：北纬34。31'28.31"，东经112。56'08.49"，这里是中岳太室与少室分界处鄂岭口以南的小盆地。少林寺坐北向南，面对少室山阴，背依五乳奇峰。少林寺像嵩山的一颗璀璨明珠，镶嵌在太室山与少室山相接的山口中间，尽览二室之胜，气魄之大，山林之幽，令人叹止。
嵩山属伏牛山系，主脉在登封市西北部，余脉延及新密市、巩义市境内，连绵60多公里。嵩山古称外方山、太室山、嵩高、黄室、崇山等。夏商之际，已称嵩山为中岳。西周时曾以华山为中岳。至周平王东迁洛邑之后，则以嵩位中央，左岱(泰山)右华(华山)，仍定嵩山为中岳。西汉史学家司马迁说：昔三代之君，皆在河洛之间，故嵩高为中岳。（史记封禅书）唐武则天于天册万岁元年（695年）封禅嵩山时，又改中岳为神岳。宋代以降，历称中岳嵩山，并沿用至今。嵩山主要由太室山(居登封城北)和少室山(居城西)组成，中岳嵩山为其总称。嵩山主峰为太室山之峻极峰。太室山主峰高1494米；少室山主峰高1512米。太室山体雄壮，形如卧龙，又居于东侧，故为嵩山之主山；少室山势峻峭，而不及太室壮阔，虽略高于太室，却不能作为主山。所谓华山如立，中岳如卧，即以太室山形而言。
千百年来，嵩岳山麓寺庙林立，秦汉之际已建有太室祠、少室祠、启母庙、法王寺和慈云寺。北魏至明清以来，佛寺越来越多，而且大多建在太室南麓登封城的周围。唯有少林寺，建寺时间虽早，但偏偏选寺址于登封西北边陲之地。跋陀随北魏孝文帝南迁洛阳之后，孝文帝为他在洛阳建造了一座静院，供他修炼禅法。可是，跋陀性爱幽栖，林谷是托，屡往嵩岳，高谢人世，孝文帝便诏令在少室山阴，为跋陀创立了千古名刹少林寺。当年，这里满目青山，少溪河(又名少阳河)自西向东潺潺流淌，气候清新宜人，是一处适合静心修禅的场所。少林寺寺名也充满了崇法自然的特色，清代景日昣在《说嵩》中解释说：少林者，少室之林也。寺居少室山阴的丛林之间，定名少林，正是跋陀息心山林这一性格特征的体现。
少林寺周边的环境，确是穷自然之造化。对面是少室山北麓，即少室山阴，俨然一道天然巨屏，横亘于古刹之前，充满着神秘色彩。巨屏之中，耸立着层层奇峰，千姿百态。其中最有代表性的山峰有五座，自东而西分别为旗峰、鼓峰、剑峰、印峰、钟峰，皆以其山峰之形而定名。其中鼓峰又称钵盂峰，其巅有一巨石独立，传为二祖慧可之养臂台，亦称炼魔台。此台四壁如削，形若天赐芙蓉，一径盘绕其周，可达台之顶部，居高四望，如临仙境。每逢雨过天晴之时，自少林寺方丈室门前翘首南望，只见在对面阴暗的丛林间，有一片白皑皑的雪景，独自闪着白光，这就是嵩山有名的八大胜景之一少室晴雪。白雪 实乃一斜面巨石，雨后石面湿润，阳光照射呈现出的白色奇观。附近草深穴多，古时常有野兽出没。乱世间又为兵家屯兵之地。据清乾隆五十二年（1787年）《登封县志》记载：《新府志》：登少室者，由东北过三定思，入东天门上绝顶，俗呼御寨。盖金宣宗屯兵其上也。此后，明末农民起义军首领李际遇也在山上屯兵驻扎，称作大寨。
在少林寺的背面，毗连起伏的五乳峰。登极顶北望，大河蜿蜒一线，俯视少林，尽收眼底。清代朱枫有佳句翠岭回幽谷，青溪锁少林。其间多翠柏杂木，每年秋季，红叶如云，随风摇曳，绚丽如画。山麓中有一座神秘的石洞，演绎出千古传诵的少林禅宗史话。这洞深4米，临崖而立，名曰达摩洞。相传，在达摩来此修炼壁观大法之前，洞中盘踞着一条巨龙，当此龙得知达摩要选此山洞修炼时，便毅然离洞而去。于是，达摩祖师便在洞内苦修了九年(一说十年)，终获成功。
东望太室山东麓，奇峰如笋，层层巍列。太室古迹甚多，自东而西有龙潭寺、中岳庙、太室阙、启母石、启母阙、崇福宫、嵩阳书院、大唐碑、崇唐观、老母洞、大法王寺、嵩岳寺、会善寺、永泰寺等。从嵩阳书院东侧拾级而上，可直达太室顶峰。山顶尚有古建筑遗址，近年又重建了一些殿宇。
在太室与少室之间，有一条自登封通向偃师、洛阳的盘山公路，至高点便是有名的鄂岭口。登封八景之一的轩辕早行即指此地。这里地势险要，公路傍临，曲折盘旋，今称十八盘，是历来兵家必争之地。阚骃《十三州志》曰：轩辕道凡十二曲。唐高宗入嵩山，凿石开广。宋知县马仲甫，悯道险厄，佣民凿平为坦途，其上置关，曰轩辕关，则东汉何进所置八关之一也。关楼已毁，但关址犹存，在鄂岭口东南向浅峡谷中，现存券洞式关门一座，一伏一券，皆用料石砌造，阔门上还保留着刻有古轩辕关四字的石额。
唐代裴漼曾如此称赞少林寺优胜的地理、建筑环境 ：东京近甸，太室西偏，正气居六合之中，清都控九州之会，缑山北峙，亘宛洛之天门二室回合，八谷潺湲，地迎贝花，门连石柱，妙楼香阁，俯映乔林。唐代大诗人白居易携友从龙潭寺至少林寺览胜，赋诗曰：
山屐田衣六七贤，
搴芳踏翠弄潺湲。
九龙潭月落杯酒，
三品松风飘管弦。
强健且宜游胜地，
清凉不觉过炎天。
始知驾鹤乘云外，
别有逍遥地上仙。
少林寺的初创时期南北朝时期
跋陀开创少林寺
汉代以来，佛法东传，至南北朝时，已达鼎盛。据北齐魏收所撰《魏书释老志》记载，魏孝文帝太和元年（477年）三月，整个北魏境内的寺院多达六千四百七十八所，僧尼七万七千二百余人；仅都城内便建有佛寺百所，僧尼多达两千余人。皇帝还招纳西域胡僧，并为之建筑精舍传法。少林寺即是在这一历史背景下，由皇室敕建的佛寺。
少林寺的创建年代为北魏太和十九年（495年）。关于少林寺创建初期的纪事，唐代裴漼在《皇唐嵩岳少林寺碑》中记述颇为详实：少林寺者，后魏孝文之所立也。沙门跋陀者，天竺人也，空心玄粹，惠性淹远，传不二法门，有甚深道业。缅自西域，来游国都，孝文屈黄屋之尊，申缁林之敬。太和中，诏有司于此寺处之，净供法衣，取给公府。接着《寺碑》又记述了跋陀主寺之后兴建殿堂宝塔的佛事活动：法师(跋陀)乃于寺西台，造舍利塔，塔后造翻经堂。香水成涂，金绳为约。苦心精力，俾夜作画。多宝全身之地，不日就功。如来金口之说，连云可庇。跋陀息心兹地，乐静安居，感而遂通，境来斯证。时有三藏法师勒那，翻译经论，游集刹土除勒那外，菩提流支也来这里译经，所译的内容主要是《十地经论》。这说明少林寺颇受高僧们的重视，而且到此慕名求法者多达数百人。跋陀向他的弟子们讲授的是小乘佛教经义。小乘，即梵语希那衍那的意译。其教义主要以自求解脱为目标，故为自调自度（即灭除烦恼，证果开悟）之声闻、缘觉之道，而异于大乘自利利他二者兼顾之菩萨道。(宽忍《佛学辞典》）跋陀晚年移居寺外，将终，手画神像于门壁。（清景日昣《说嵩》卷二十一）
跋陀是禅律并重的高僧。他的两大弟子僧稠（480—560年）和慧光（487—536年）继承了他的事业。跋陀僧稠一系的禅法是印度传统的四念处、五亭心的止观禅法。有人概括为三藏心禅。僧稠(稠禅师)，钜鹿人氏，俗姓孙。跋陀称他为葱岭以东学习禅法最好的一个。跋陀称赞他说：自葱岭以东，禅学之最，汝其人矣！《寺碑》亦云稠禅师探求正法，主持塔庙。北齐末年僧稠被尊为国师大德，成为中国北方旧禅法的代表人物。
跋陀的另一大弟子慧光，俗姓杨氏，长卢人。他聪敏出众，被称作圣沙弥。他曾助跋陀翻译《十地》等佛教著作，还开释《华严》《维摩》《涅槃》等经论，成为名重一时的北齐名僧，被后世尊为中国佛教地论宗的鼻祖。《寺碑》说：慧光弟子僧达、昙隐、法上法师等十大德，亦号十英。尤其是法上法师，在探研诸经中，很有成就，成为东魏、北齐时期著名高僧，被誉为京师极望，道场法上。
菩提达摩游化嵩洛
北魏孝昌三年（527年）之后，梁大同二年（536年）之前，又一位西域名僧游化于嵩洛一带，他即是后世尊为禅宗初祖的菩提达摩。杨衒之《洛阳伽蓝记》卷一(城内)就有关于菩提达摩游化嵩洛的记载：永宁寺，熙平元年（516年），灵太后胡氏所立也。时有西域沙门菩提达摩者，波斯国胡人也。起自荒裔，来游中土自云：年一百五十岁，历涉诸国，靡不周遍。而此寺精丽，阎浮所无也。极物（佛）境界，未有此。口唱南无，合掌连日。
释道宣撰《续高僧传》对达摩的活动记述颇详 ：菩提达摩，南天竺婆罗门种初达宋境南越，末又北度至魏。随其所止，诲以禅教。其时，合国盛弘讲授(旧禅法），乍闻定法，多生讥谤。有道育、慧可，此二沙门，年虽在后，而锐志高远。初逢法，将知道有归。寻亲事之，经四五载，给供谘接，感其精诚，诲以真法，如是安心，谓壁观也。大约在527年后，年近四十的慧可见到了菩提达摩，奉以为师，毕命承旨，从学六载，精究一乘，理事兼融，苦乐无滞。达摩授以四卷《楞伽经》，并说：我观汉地，唯有此经，仁者依行，自可度世。达摩所传为大乘佛教，在多种入道的途径中，最重要的是二种，即理与行。所谓理，亦名理入，要求学道者，首先领悟修炼的宗旨，深信所有人都有同一的真性，只要能舍去世俗上的虚伪，归依本来的真性，坚定不移，不随他教，即可与修道的宗旨冥符，寂然无为，则为理入。所谓行，或曰行入，主要有四，即报怨行、随缘行、无所求行与称法行，即性净之理也。达摩的传法活动受到了旧禅法的剧烈反对乃至迫害，其弟子慧可和昙林在邺城也屡遭不幸，甚至被教敌买通的歹徒砍断臂膀，长期过着乞食苦行的生活。
达摩、慧可师徒尝托兹山，应是栖身于少室山附近的禅窟或庵庐之内，并无寺院可居。也许这便是达摩洞、初祖庵、二祖庵、炼魔台乃至嵩岳寺后三祖庵等纪念建筑与古迹均远在寺外的历史原因。达摩卒于梁大同二年（536年）十二月，葬于熊耳山（今河南省陕县西李村乡支沟村南），此地后建有空相寺。
达摩衣钵法器，一向单传。达摩传法慧可，慧可又传法给僧璨。自三祖僧璨，始到南方传法。历隋、唐二朝，达摩禅法回到北方，并真正回到了称为禅门祖庭的嵩山少林寺。
周武灭法
由于北周时期宗教势力的扩大，在政治、经济等方面严重威协到皇家的统治利益，所以周武帝在举行多次 佛、道两教辩论之后，于建德三年（574年）下令全国禁止佛、道二教活动。这便是我国宗教史上有名的三武灭法中的第二次灭法活动。时少林寺属北齐，尚未殃及。至承光元年二月（577年），北周灭北齐，少林寺许多佛像被毁，僧众被遣散，寺院一度被废。大象二年六月（580年）周静帝在杨坚的支持下恢复了佛、道二教，两京各立一寺，少林寺更名陟岵寺，到隋开皇元年（581年）才恢复了少林寺原名。
隋唐时期的少林寺
少林寺更名不久，北周王朝即被杨坚的隋朝所取代。杨坚自幼在佛寺长大，信崇佛教，于开皇年中（581—600年）下诏将柏谷屯一百顷田赐给少林寺。随着寺院庄园的迅速发展，少林寺成了隋朝末年农民起义军攻击的目标。大业末年，天下大乱。在隋末战乱中，少林寺第次遭受大的兵火之灾，整个寺院被毁，仅有跋陀时建造的一塔独存。
在隋末唐初的战乱时期，少林寺僧众为了保护寺院利益，审视社会上的斗争形势，毅然站在李唐政权一边，在唐初的统一战争中起到了积极的作用，并因此受到了唐王朝的嘉奖和支持。唐武德二年（619年），王世充在洛称帝，号郑国，派其侄王仁则扼守柏谷庄，改为轘州。武德四年四月二十七日，少林寺上座善护、寺主志操、都维那惠玚等十三位僧人，在城内轘州司马赵孝宰等配合下，活捉王世充之侄王仁则，并将王仁则献于唐营，夺取了轘州城。武德四年（621年）四月三十日，秦王李世民派李安远持秦王教书，往少林寺宣慰。《寺碑》碑文也记载了少林寺因功受奖的情况，太宗文皇帝，龙跃太原，军次广武，大开幕府，躬践戎行。僧志操、惠玚、昙宗等，审灵眷之所往，辩妪歌之有属，率众以拒伪师，抗表以明大顺，执充侄仁则以归本朝。太宗嘉其义烈，频降玺书宣慰，既奉优教，兼承宠锡，赐地四十顷，水碾一具，即柏谷庄是也。唐王朝对作战立功众僧也予以加封，如上座僧善护、寺主僧志操，都维那僧惠玚、大将军僧昙宗，同立功僧普惠、明嵩、灵宪、普胜、智守、道广、智兴、僧满、僧丰，计13人（唐武德四年《太宗文皇帝敕授少林寺柏谷庄立功僧》）。此即后世盛传的十三棍僧救唐王故事的原型人物。唐朝初年，因少林十三僧的战功，少林寺得以复立，土地得以归还；同时还获赐大量田产，这些都为少林寺的发展奠定了良好的经济基础。
唐朝初年，少林寺进行了大规模的恢复重建。依地势高低分为上方（西台）、下方，共有十二院。上方风景最佳，分布着翻经堂、舍利塔、跋陀灵塔、普光佛堂等建筑。
唐初少林寺以律学著称，有明遵、慈云、元素、智勤律师，虚求一义，洞真谛之源。明遵是相部宗法砺之弟子。著名的三藏法师玄奘（600—664年），家乡在少林寺西北约十二公里偃师县府店滑城村。他于贞观十九年二月六日（645年），显庆二年九月廿日（657年）两次上表，请求入少林寺译经，修禅观，并以此送终，均不获允准。唐高宗、武则天对少林寺深表关注，于咸亨（670—673年）中，乘与戾止，御飞白书，题金宇《般若碑》，留幡象及施物；永淳中（682—683年），御札又飞白书一飞字，题寺壁。（《寺碑》）永淳二年（683年）九月二十五日，武则天从高宗幸巡少林寺，曾御制诗书一首，此碑记述了武则天伴驾出游的隆重仪仗、隋末大火之后的寺院情景以及她当时的心境思绪等。
武周长安四年四月七日（704年），三藏法师义净（635—713年）在少林寺设立戒坛，依《根本说一切有部律》为标相而设。中国律仪，一向依昙无德部《四分律》为准。义净则移植了有部律仪。少林寺三纲即寺主义奖、上座智宝、都维那大举、法济等禅师及都城洛阳的大德高僧们都参加了结坛仪式。这可能是一个琉璃戒坛。唐中宗景龙年间（707—709年），曾敕授少林寺常置十大德高僧，不许缺额，也不许从别寺聘请，足见唐王朝给予少林寺的荣誉和恩宠。
唐玄宗于开元十一年（723年），敕命一行禅师将太宗教书及玄宗御书交少林寺寺主慧觉领取，后刻于裴漼所撰碑上，太宗文皇帝御书七字碑额系玄宗御书。世民二字，系太宗在武德四年所书。
唐朝后期，少林寺再遭劫难。由于社会矛盾的加剧，至唐武宗会昌五年（845年），又开始了中国佛教史上第三次灭法活动，史称会昌灭法。少林寺西塔院宋塔石铭就记载有这次灭法的有关情况：经会昌之朝，例遭魔灭。会昌之后，少林寺已元气大伤，虽屡有修复，却失去了盛唐时之宏大气派。
北周末年，中原多乱，局势多变，佛教中新、旧禅派斗争激烈。北齐天宝二年（551年），慧可向僧璨传法之后，自去邺都随宜说法。圆寂后，唐德宗赐号大祖禅师(宋道原《景德传灯录》卷三)。僧璨遵师命隐修舒州(安徽舒城县一带)。隋开皇十年（590年），朝廷曾迎他进京，敕住开善寺。但僧璨辞而未从，传授衣法于四祖道信之后，即去罗浮山，继续传化于四众。僧璨终于隋炀帝大业二年（606年）十月十五日。唐玄宗赐号监智禅师。
四祖道信，姓司马氏，世居河内(今河南省沁阳市)，后徙居蕲州(今湖北蕲春南)广济县。据《景德传灯录》载，师生而超异，幼慕空宗诸解脱门。隋大业十三年（617年)领徒众住吉州，遇隋末吉州城被围之乱。至唐高祖武德七年（624年）重返蕲春，住黄梅西北之破头山（亦称双峰山），从学者云集而至。他认为心净即佛土、心即佛，主张不要到西方求