古寺初建於劍潭北岸、劍潭山南麓。
傳說明鄭時已有結庵，奉祀大士神，初名觀音亭，康熙五十六年改建，更名為「西方寶剎」，
乾隆三十八年（1773）吳廷詰等人重建，，因寺臨劍潭，又改稱「劍潭古寺」。
是台北市內最古老的廟宇之一。
歷經乾隆三十八年及道光二十四年的重修，規模漸趨宏偉，至日治時期大正十二年，由名匠陳應彬
主持大修，格局擴為三殿式，中殿為八角形，左右設置鐘鼓樓，廟貌極為華麗。
但至1940年，因其址靠近日人所建之臺灣神社地域，乃被勒令拆遷至大直現址。
現存之劍潭寺係將原舊廟之木、石建材混合而成，雖只剩一殿，但其龍柱及藻井仍極精美，
且廟方陳列保存許多原有石雕與木雕，頗富歷史文物之價值。
大殿中重要的楹聯有 :
劍光閃電神靈有赫 潭影浮濤佛法無邊 歲在庚寅桂月穀旦 晉水芝山弟子叩謝
慧劍斬邪魔真成菩薩 碧潭留寶筏永渡群生 昭和庚辰移建大直 施敦堂拜撰 李金柯敬書
劍氣未銷沉歷劫千秋觀自在 潭光長瀲灩迷津一渡樂逍遙
昭和庚辰移築大直 施敦堂拜撰 江心慈敬書
寺旁有碑林園，保留著劍潭古寺舊有廟柱及石碑，殘柱上的對聯及刻署年號，
訴說著這座寺的滄桑演變……
劍氣衝霄星北斗 潭光仰月接西天 道光甲午年孟夏 艋舺弟子王進發敬奉
積寺蔭慈雲塵銷慧劍 淡疆霑法雨杯渡寒蟬 嘉慶庚申孟春 晉水鑑湖張朝宗敬題
法眼照臨光寶筏 慧心普濟渡慈航
潭烟駕霧活如來 劍氣凌雲觀自在
劍沖斗牛合慈雲以保庶 潭映竹水分南海而現身 嘉慶庚申季春 晉水張朝之奉立
劍山扈侍赫濯聳靈昭萬古 潭水映輝慈悲妙化普千秋
鐘聲響徹三千界 樓象高涵百萬家 大正十年歲次辛酉孟春 信士辜顯榮重修敬題 鄭貽林敬書
劍驅邪魔一點慈心救世 潭印水月千秋色相大觀 嘉慶庚申孟春 晉水□□□□□
法垂航柳一點玉露保東寧 水月禪心圓覺珠光長不夜
滄桑經佛眼銷磨劍 辛酉孟春六十七叟 施士诘
古剎話瀛東劇鄰名勝江山幾度桑田經燹劫 潭深幾許願菩薩慈悲化作十方甘露八功充滿濟群生
信士 辜顯榮重修敬題
這些古物中又以前清進士施士诘,
以及重修時辜顯榮先生的奉納楹聯最具有價值 ……
古寺門口有一素雅青瓦牌樓，寫著「劍潭古寺」，題字者為辜振甫，
修建年代為民國六十一年。
子承父志其實是有跡可尋的……
