国指定史跡「韮山役所跡」の中にあり、国指定重要文化財である「江川邸」。韮山県（伊豆全体、八王子・大宮周辺）を統制していた、江川家の武家屋敷。
主屋は、1600年頃建てられ、単層入母屋造りの壮大な建物で、「小屋組づくり」と呼ばれる幾何学的な屋根裏の木組みは、今日でいう免震構造になっています。
三和土の土間には立ち木をそのまま柱にしたと伝えられる「生き柱」や、伊東に居住していた日蓮聖人をお迎えした際に聖人より贈られた直筆の「火伏せの護符」を納めた棟札箱が見られます。これまで一度も火災にあっていないことから、文書類・書画・武具を始めとする様々な品が残っており、その一部は屋内に展示されています。（10万点ほど残っています）
36代江川太郎左衛門英龍（坦庵）は名代官として知られ、海防の必要性から沿岸測量、韮山反射炉やお台場の建設、わが国最初の洋式帆船建造や種痘の実施、パン製造など多大な業績を残しました。邸内には「パン祖の碑」が立てられています。
毎年秋には、内庭（うちにわ）も公開されております。