张大仙庙是拱宸桥附近道教信众为纪念张胜贵道长而建。张道长湖北蕲水人，清同治十一年（1872年）来到拱宸桥搭茅房而居，精通医术，宅心仁厚，为穷苦人看病从不收费，还免费赠送自己采挖的草药。
光绪戊寅（1878）年三月二十一日傍晚，一妇女跳河自杀。他不顾春寒水冷从桥上俯跃而下，将这跳河的妇女救起了，而张道人却沉下河中，这时从高空冲下一只雄鹰冲入水，叼着张道人的长发奋力向河岸而来，人们急忙将他抬上岸，但已无生机，是年五十九岁。
附近地区居民感怀张道人生前的恩德，推选唐其章、袁敬中、孙大奎等人为首筹资将其葬于生前所居的茅屋后，墓顶塑雄鹰，又把茅屋拆建成墓庐。后来，当地士坤联名将张道人生前事迹上奏朝廷，次年，光绪皇帝敕封其为“张大真人”，在墓庐处扩亭为祠，格局为前殿后墓，庙额敕曰：“张大仙庙”。慈禧太后亦赐“显佑仙官”尊号，悬挂横匾以彰其功德，从此以后人们便称其为张大仙而闻名。
当时，也有人传说，因为他平生慈悲利济，积功累德，他其实没有死，而是借水解成仙得道了，有很多人还说看见张道人骑着老鹰飞上了天。所以来祭拜张大仙的人越来越多，据说来祭拜后有求必应，很是灵感，所以大仙庙香火日盛。
解放初期，张大仙庙属于全真道宫观，主持是诸真培道长，1957年时因故离庙到玉皇山福星观常住。张大仙墓一直保留到1958年才被拆除，大仙庙改为“关怀医院”。由于城市的发展与变迁，原先的张大仙庙址及周边街弄已拆建成 “运河广场”，庙门原址立了一座“南北牌坊”。
2008年，杭州市运河综合保护委员会复建桥西历史街区，为振兴道教文化，弘扬张大仙历史功绩，与杭州市道教协会几经磋议，遂商定于桥西原道教三官殿遗址重建张大仙庙。重建后的张大仙庙坐落于拱宸桥桥西直街六号，仿古砖木结构，古朴庄严，有照壁、回廊、山门、正殿、西厢房，山门口碑厩以及青砖雕刻的“紫气东来”牌坊等建筑，总占地面积约二亩。
2010年8月，由市运河综保委将张大仙庙，无偿移交给市道教协会管理使用。2010年10月1日，经市民宗局核准并发予宗教场所证，免费对外开放，开放以来信众、游客逐日增多。