高遷的建村歷史可以追溯到南宋淳熙年間（1174-1189年）。那時(shí)，安化知縣吳栝和他的弟弟從事郎吳椿從下礫徙居高遷，分別為高遷村東宅和西宅的始祖。吳栝和吳椿是吳全智十一世孫，在族譜上的世系屬仙居吳氏下宅。因此，高遷吳氏的故事，不得不從仙居吳氏講起。
仙居吳氏的始祖吳全智，字詰士，進(jìn)士及第，官至后梁銀青光祿大夫，世居麗水遂昌。唐昭宗光化二年（899年），吳全智徙居仙居下礫，成為仙居吳氏的始祖。或許正是因為始祖吳全智擁有較高的文化地位和高度的文化自覺(jué)，仙居吳氏家風(fēng)特重文教，形成了“甲第相承，簪纓相繼”的家族傳統。在這種傳統中，科舉出仕與文化傳承互為表里，共同維護著(zhù)仙居吳氏的門(mén)第。
