西元1792年，一名叫李應祥的文士自中國來臺，起初在阿公店（現岡山區）居住，3個月後登上火山大仙岩，於西元1796年為尋晚年隱修之所，而攀山涉水，由於李應祥善於勘輿，發現在枕頭山南腰「半壁吊燈火」傳為麒麟穴，於是披荊斬棘，自大仙寺內迎回觀音聖像坐鎮於此，隱遁修行，即為今天碧雲寺的開山起源。
碧雲寺真正興建廟宇，是當時附近的8位儒生，因仰慕李應祥學養品德，與一書僮前往拜師苦讀，西元1806年前往福州趕考，連書僮9人皆應試登科，9人感佩觀音靈佑，於是合資大銀千兩，購買當時他們師徒所開墾的田地，捐作寺產，並興建寺廟，稱為碧雲寺，這座寺又稱為「新岩」，大仙寺則為「舊岩」。
碧雲寺在西元1869年至1903年，曾陸續修建數次，西元1904年又因大地震毀損一次，但寺方因故無人管理沒有修建，經過信徒爭取，於民國38年（西元1949年）重建，蔣介石先生曾親臨獻香，並賜匾額「凌宵寶殿」。