高迁的建村历史可以追溯到南宋淳熙年间（1174-1189年）。那时，安化知县吴栝和他的弟弟从事郎吴椿从下砾徙居高迁，分别为高迁村东宅和西宅的始祖。吴栝和吴椿是吴全智十一世孙，在族谱上的世系属仙居吴氏下宅。因此，高迁吴氏的故事，不得不从仙居吴氏讲起。
仙居吴氏的始祖吴全智，字诘士，进士及第，官至后梁银青光禄大夫，世居丽水遂昌。唐昭宗光化二年（899年），吴全智徙居仙居下砾，成为仙居吴氏的始祖。或许正是因为始祖吴全智拥有较高的文化地位和高度的文化自觉，仙居吴氏家风特重文教，形成了“甲第相承，簪缨相继”的家族传统。在这种传统中，科举出仕与文化传承互为表里，共同维护着仙居吴氏的门第。
