據(jù)寺內(nèi)現(xiàn)存的兩塊石刻《碑記》所載，該寺建于元至正四年(公元1344年)，迄今已有600多年的歷史。數(shù)百年滄桑巨變，文殊寺經(jīng)歷了明成化元年(公元1465年)、弘治丁巳年(公元1498年)、萬(wàn)歷辛卯年(公元1591年)及清乾隆三十四年(公元1769年)等數(shù)次大修。

四周群峰競(jìng)秀，寺前一泓碧水長(zhǎng)流，茂林修竹環(huán)繞，飛瀑流泉相伴，集雄險(xiǎn)奇秀于一體，聚幽雅清新為一身，是石人山風(fēng)景區(qū)的重要組成部分。該寺由正殿、過(guò)殿、偏殿組成，傳說(shuō)文殊圣母授徒釋迦牟尼、彌勒、達(dá)摩于此并福蔭當(dāng)?shù)囟妹?，香火盛極一時(shí)。但真正使文殊寺聞名遐邇的，卻是寺內(nèi)的５棵參天古銀杏。

銀杏又名白果、公孫樹(shù)，雌雄異株，生命力極強(qiáng)，有生物界“活化石”之稱。文殊寺的銀杏樹(shù)系三雌兩雄，樹(shù)齡約在千年以上，樹(shù)高均在２５—４０米之間，它們各個(gè)枝干挺拔，綠葉婆娑，如撐開(kāi)巨大的綠傘，罩下滿地濃蔭。雪壓枝頭，一片玉樹(shù)瓊花，為古樸的寺廟增添了一線風(fēng)景。之后，又伴隨寺中的觀世音度過(guò)千年悲喜交加的時(shí)光，長(zhǎng)成撥地參天的身姿。這幾棵大樹(shù)，最低者35米。其中，最大的一棵樹(shù)冠高達(dá)43米，胸圍6.85米，需幾個(gè)人手拉手方可環(huán)抱，這已經(jīng)叫人稱奇了，然而尤其讓人驚奇的是，胸部有一10厘米的洞口，透過(guò)它能清楚地看到樹(shù)干內(nèi)被鋸掉過(guò)一塊長(zhǎng)1.7、寬0.8米木板的空隙，下部留有用手掰掉過(guò)的鋸茬仍歷歷在目。一棵囫圇樹(shù)干，中間怎能取出一塊大木板呢？據(jù)說(shuō)，這是魯班的神功所為。而最小的一棵，樹(shù)圍也在５米以上。整個(gè)銀杏群虬枝盤(pán)錯(cuò)，枝葉相連，郁郁蔥蔥，遮天蔽日，整日云橫霧罩，蔚為壯觀。