興山寺の歴史は真言宗総本山高野山から始まっている。天正13年(1585)の豊臣秀吉の紀州攻めにより、兵火が高野山に及ぼうとしたとき、秀吉と直談判して山を守った人物が、木喰応其上人である。その後応其上人は青巌寺と興山寺を創建して山内の中心伽藍とし、さらに諸堂を再建した。
明治になって興山寺は青巌寺と併合され、金剛峯寺と呼ばれるようになった。由緒ある興山寺の名前が消えることを惜しんだ山縣玄浄僧正が、稲葉氏の協力を得て臼杵に寺号を移し、興山寺がこの地で再興された。境内の奥まったところに本堂と庫裡が並んでいる。宝造形の本堂に安置された本尊、無量寿如来は秘仏のため直接拝することはできない。境内には多くの石仏が点在している。