真言宗大覚寺派。山号は寶幢山(ほうどうざん)。
四国別格二十霊場第１９番札所、四国三十三観音霊場第３３番札所、讃岐七福神（毘沙門天）、ぼけ封じ三十三観音第１１番札所。
本尊は延命地蔵菩薩。()

奈良時代７３９年に僧行基が開創し勝賀寺と称した。
平安時代８１７年に僧空海（弘法大師）が再建し現在地に移した。嵯峨天皇の勅願寺に選ばれ、朱雀天皇の勅旨談議所（僧徒学問所）となった。()

鎌倉時代、この地の豪族・香西左近将監(さこんのしょうげん)資村(すけむら)（香西氏の祖）が幕命をうけ堂塔を再建し香西寺と改称。
その後細川頼之が本津（現在の香西東町）に移し、１１代香西元資は寺号を地福寺と改称した。
天正年間戦火にあい、生駒親正が国主となり、再建ののち高福寺と名を変えた。その後、またも失火のため現在の地へ戻る。()

１６６９年、高松藩初代藩主松平頼重(よりしげ)が新伽藍を建立し別格本山・香西寺となる。その後、当時の七堂伽藍はほとんど失火で焼失し、現在はその一部を残すだけとなった。
寺宝の木造毘沙門天立像（平安時代作）は１９４１年（昭和１６年）重要文化財に指定された。()