岩が御神体。
元は二条堀川付近にあった霊石が六角通（岩上通六角辺り）に遷され、更に中和門院（後陽成天皇の女御の一人で後水尾天皇の母）の屋敷の池の畔に遷されたという。
そこでは吼え出したり、すすり泣いたり、子供に化けたりといった怪奇現象が起こり、子供に化けたという伝説に因んで「禿童(かむろ)石」と呼ばれた。
ついにたまりかねた女官たちが蓮乗院(れんじょういん)という真言宗の僧を召したところ、彼はその石を貰い受け、現在地に遷して祀ったという。その際に有乳(うにゅう)山岩上寺と称した。以降、授乳、子育て の信仰を集め、地元では「岩上さん」と親しみを込めて呼ばれている。()

寺は１７３０年の大火事・西陣焼けで堂舎が焼かれ、１７８８年の天明の大火では荒廃の極みに達した。
明治維新の際には廃寺となったが、大正年間に織物業の千切屋(ちきりや)が敷地内に祠を構え、以降、岩上(いわがみ)神社（岩上(いわがみ)祠(し)）」となって今に至る。
数奇な運命を経た霊石だけは昔の姿そのままで現在に伝わる。()