元々は現在「小村寿太郎侯誕生之地」碑がある場所に建っていましたが、明治時代後期に振徳堂裏手に移築され、1921（大正10）年に武家屋敷通りの現在地に再び移築されました。

老朽化のため市が改修整備し、2004（平成16）年から外観を一般公開しています。