天姥山，奇谲幽深，自古多仙道传说。《嘉定赤城志》记载，县西南的韦羌山上有石室门窗，每逢春深雾重，砍柴的人隐隐之中会听到箫鼓声。诸如紫箨山、白冠山、冯师山等，相传也都曾有仙人居住或往来其间。但历史上，仙居真正与仙道有关的人，并最早见于史籍记载的是汉代的徐来勒。徐来勒，字元和，《本济经》说他“昔在赤明劫一百八身，为道士”。另据《宝藏名山记》记载“括苍洞周回三百里，徐真人所治。真人名来勒，尝得道上升，至东汉为大极法师，莅职洞天，总司水旱罪福之籍”。为此，徐来勒可以说是仙居历史上最早的一位道教人物，也是括苍洞的最早开发者。继徐来勒之后，汉代另一名到过仙居的道教人物是王远。按《嘉定赤城志》记载，王远，字方平，东海人，举孝廉，官至中散大夫。明天文图懴，逆知盛衰吉凶，如指诸掌。死后三日，失其所在，后至括苍山。与此同时，仙居本地则出现了一位著名的道教人物蔡经，据《光绪仙居志》记载：蔡经，括苍山人，隐真宫其故宅也。先是王真人远（王远）得道飞升，游括苍洞，过经第（住宅），铒以金丹，遂尸解。越四年，七夕，同真人邀麻姑驾五色云至家，遍饮家人以酒，尽室上升。席间，麻姑对王远说：“自接侍以来，已见东海三为桑田，向到蓬莱，水又浅于往日，会时略半耳，岂将复还为陵陆乎？” 王远笑曰：“圣人皆言，海中行复扬尘也。” 此后“苍海桑田”、“东海扬尘”，成为人们长期相沿习用的成语。
两晋之后，道教在仙居开始进入平稳的发展。尔时，到仙居云游或隐居的道士开始增多。据《光绪仙居县志》记载，吴赤乌二年（239），左慈和葛玄二人曾同游括苍洞。而在仙居的民间传说中，葛玄还曾经在括苍洞一带隐居过很长一段时间。他种茶炼丹，留下了葛玄井、葛玄丹室等遗迹。郑思远、平仲节、羊愔等人也曾游览或隐居括苍山。