開山宮的前身，據說為供奉陳稜的將軍祠。
此外有學者林衡道、楊雲萍等人認為開山宮可能是
臺灣首座保生大帝廟。
《隋書》記載陳稜曾攻打流求，有人認為即是臺灣，
且陳稜當初便是從開山宮前登陸。隋朝滅亡後，據說有
隋朝遺民與陳稜舊屬一起渡海來到臺灣，而後因感念陳稜，
遂奉他為「開山聖王」，建將軍祠。
明鄭時期，明寧靖王駐台時，為表將軍開創台疆之先功，
進封將軍祠為開山宮，以表陳稜將軍開山闢地之宏功，
廟前留有石柱對聯
「克壯觀瞻隆古地 聿新營建重開山」，
讓其千秋永享鴻遠流芳，
亦稱為全島最早的廟宇。
宮前早期是一個泊船港，舊稱帆寮港，昔時濱海漁戶泊碇、
居住及修補漁帆就在此地，因而得名帆寮，
隨著海岸線西移後便失去港口功能的昔日港濱成為陸地，
帆寮亦隨市集的擴大發展為內、外新街，清領時期先民移台
漸多商賈事營繁昌或因水土不服、或因瘟疫流行，
特自泉州白礁奉請保生大帝吳真人金尊前來，
應府城新街街民合議，合祀於開山宮中。
清康熙五十八年（1719）的臺灣縣志/雜記志九中記載：
「開山宮，祀吳真人．一在新街，曰開山宮．一在北線尾，曰大道公廟」，
乾隆五年(1740)再由候選同知王紹堂等重為修茸；
六十年武舉張文亞等，議鳩眾重修；
道光二十六年(1846)吳振宏等再為倡修；
同治七年(1868)董事林天理、林廷爵、歐陽庸等，與外新街王用賓等，
鑑於宮中金尊日益眾多，僻居一隅終非長久之計，遂倡議重建
以昭宏神，堂觀煥然屹立於斯；
光緒九年（1883）毀於大風暴雨後，續由歐陽騰、許如壁、
徐光梓、葉登科等人鳩資重建斯時廟貌規模大備，
當時有左右偏殿橫跨至現今現今民生路中心，
拱門臺階堂構輝煌。
民國三十二年為開防空洞，悉予拆除，
戰後於民國三十七年簡易重建，堂構狹隘金身擁擠，
現貌是於民國七十六年發起重建，
民國八十五年落成建醮至今……
