天台宗。山号は夷山(えびすざん)。宇佐神宮六郷満山霊場第１４番札所。
本尊は千手観世音菩薩。六郷満山末山本寺。７１８年に仁聞(にんもん)菩薩の開基と伝える。()

本尊は、始め千手観音であったが、後に不動明王と阿弥陀如来となり再び千手観音に改めた。最盛期には十二坊を有し広く香々地荘全域の信仰を集めるほどであった。境内の地蔵尊は国東半島では最大の一石一体の仏像として有名で、他にも貴重な石造文化財がある。()

石造彫刻としては、江戸時代初期作とみられる山門前の仁王像は国東の佳作であり、さらに丸彫りのも二体が祀られる。その他石造二天像、国東塔（推定桃山期）、また大地蔵尊は像高４．８７ｍ、総高６．５０ｍで１８６０年（安政７年）の彫作で一石地蔵尊では九州最大である。()

霊仙寺は同寺の鎮守である六所神社の別当を務め、隣の実相院を支院としていたが、明治時代初期の神仏分離令により現在の独立した寺院となっている。()

六所神社は往時当山の奥の院であり講堂であった。
山門、梵鐘等由緒深きものがある。()