天台宗。山号は大蔵山。
坂東三十三観音霊場第１番札所、鎌倉三十三観音霊場第１番札所、鎌倉二十四地蔵尊霊場第４番・第６番札所。
７３４年の春、光明皇后の御願により大臣藤原房前(ふささき)と僧行基に命じ、堂宇が建立された。()

御本尊は、７３４年に行基が自ら刻むところの十一面観世音、次に８５１年に慈覚大師円仁が当山に参籠して刻んだ十一面観世音、また９８６年に恵心僧都源信が花山法皇の命により刻んだ十一面観世音の三体である。そして鎌倉時代に起こった火災の際に御本尊三体自ら庭内の大杉の下に火を避けられたので、それより「杉の本の観音」と呼ばれたという言い伝えがある。()

１１９１年に源頼朝公が御堂を再興し、三尊像を内陣に安置、前立本尊十一面観音を寄進し安置したという。
また、礼を欠き、信心なくして馬で寺の前を通り過ぎる者は落馬するというので当時は下馬観音と呼ばれた。そして建長寺開山大覚禅師が祈願し自らの袈裟で行基菩薩が彫られた十一面観音のお顔を覆ったところ落馬する者がなくなったというので覆面観音と呼ばれた。三尊像は頼朝時代より秘仏という。()