3代目栗原綱五郎は幕末の1864年に生まれ、名士として小作人を雇い広大な田んぼで稲作をしておりました。竹を割ったような豪快で男気のある人でした。そんな栗原綱五郎が1929年に住まいとして建てたのが、現在の綱五郎の屋敷です。屋敷は第二次世界大戦中の東京大空襲にて一部被災したものの、戦後修復。そしてその際に磐座(いわくら)も運び入れられたと伝えられています。