香岩寺位于愁儿沟猕猴公园东侧。据县志载，唐时为觉林禅院，元代毁于战乱，明清时又得以重修。因寺后有香炉山，又改称“香岩寺”。当时寺庙规模宏大，后又被毁。现在残留有柱础、石雕、石碑、墙其等遗迹。1991年以来，群众集资又修复了后殿、大雄宝殿、山门、围墙，重塑了佛像，彩绘了壁画，砌好了石桥、台阶。香岩寺附近石壁上有古代题刻残留。