金阁寺距五台山中心台怀镇十五公里，位于五台山南台和中台交接处。除了建于五台之上的寺庙外，金阁寺是海拔最高的一座寺庙。该寺占地面积约二万一千平方米，有殿堂僧舍约一百六十间。全寺的建筑布局分为前、后两院，其间以石洞相通。前院的主要建筑是观音殿，后院的主要建筑是大雄宝殿。观音殿面阔五间，为二层。殿内供奉着一尊高十七点七米的千手观音像。这尊菩萨像内为铜铸，外敷一层薄泥，再贴金，神态慈祥。用这种手法制作的如此巨大的观音菩萨像，这不仅在五台山是独一无二的，就是在全国也是少有的。大雄宝殿正中供奉着释释迦牟佛，其左右分别供着药师佛和弥陀佛，两厢为十八罗汉的塑像。
在前院和后院中间有一排二层房屋。下层十九间为石券窑洞，位于中间的一洞是前后两院的通道，其余的窑洞是众僧们的住所；上层的十九间是木结构房屋，为毗卢殿、地藏王殿、药王殿、五百罗汉殿、送子观音殿等。
金阁寺始建于唐朝。关于它的初建和命名还有一段美丽的传说。相传，唐玄宗开元二十四年（公元 736年），有一位法号叫道义的高僧到五台山礼佛，当走到南台与平台交接处时，大风突起，道义和尚便就地而跪、叩头诵经、求佛保佑。过了一会儿，有一个小童来到道义和尚面前，说师父有请。于是道义和尚随童子一道去拜见长老。当跨入长老所在的寺院时，眼前一片辉煌，殿堂、墙壁全为金色。长老所赐茶水异香扑鼻。茶后，童子领道义和尚参观寺庙，道义和尚被寺内的各种景色迷住了，陶醉了；待他定神再寻时，童子、长老、寺院及刚才眼前的一切美丽景象都没有了，只是那金碧辉煌的殿宇形象还深深地印在脑海中。随后，道义和尚将脑海中寺庙的形象描绘下来，献给唐玄宗。唐代宗大历五年（公元770年），当时的皇帝李豫下诏，旨令从印度来的三藏法师不空，按照道义和尚所留下的图纸在五台山修建了一座寺庙。因寺庙的殿堂屋顶全铺鎏金铜瓦，因此寺庙就取名为金阁寺。