清和天皇の勅願によって天照大御神(あまてらすおおみかみ)を粟田山に勧請したことに始まり、その後応仁の乱で焼亡したが、寛永年間（１６２４−４４）に伊勢人野呂左衛門尉源宗光が再興したと伝える。()

境内の最奥に南面して建つ内宮(ないく)本殿は桁行正面１間、背面２間、梁行２間の神明造の建物である。両脇に棟持柱を建て、屋根の棟には内削ぎの千木(ちぎ)と堅魚木(かつおぎ)８本をのせている。本殿の前方に建つ四脚門の御門の屋根にも内削ぎの千木と堅魚木６本がのり、両脇に板垣がとりついて内宮の敷地を区切っている。
内宮(ないく)（上ノ本宮(かみのほんぐう)）御祭神
天照大御神(あまてらすおおみかみ)、多紀理毘賣命(たぎりひめのみこと)、市寸島比賣命(いちきしまひめのみこと)、多岐都比賣命(たぎつひめのみこと)

内宮(ないく)の前方一段下がったところに建つ外宮(げく)は、本殿・御門ともに内宮とほぼ同じ規模・形式をもつが、屋根の千木が外削ぎで堅魚木がそれぞれ１本少なくなる。
本殿はともに造営年代に関する資料を欠くが、社蔵文書や『拾遺都名所図会』から１８世紀末にはすでに建っていたことがわかり、部材が一部取り替えられているものの、市内では例の少ない神明造本殿として貴重である。また、御門と板垣で敷地を区画する社殿構成は古式を伝えている。
外宮(げく)（下ノ本宮(しものほんぐう)）御祭神
天津彦火瓊々杵尊(あまつひこほににぎのみこと)、天之御中主神(あめのみなかぬしのかみ)

また、内宮・外宮のほか拝殿・社務所・摂社等一連の建造物が、敷地の高低差を利用して配されるこの神社の構成はみごとであり、周囲の山と一体となって優れた境内環境を形成している。()