道光3年（1823）台灣經歷了一次嚴重的颱風，關渡宮建築也因此受創嚴重，
管理人陳愿淡等以廟產二千四百元，與庄民捐款四百元，於隔年的十月進行重修，
當時的石窗和裙堵石雕仍被保留，且有「同邑太學生高國基敬奉」、「廣東饒邑
鴻崗許國良敬立」、和「弟子臺長生敬奉」等落款，
其中高國基、許國良為漢人，臺長生為平埔族原住民，
說明關渡宮一直是閩、粵移民及當地原住民的共同信仰廟宇。
道光4年，是關渡宮在清代最後一次重要修建，重建規模甚大，
記載捐款人及捐款金額的石碑至今尚保留在關渡宮功德堂兩側石壁上，
除了北投區居民、臺北盆地的大業戶、商號，
甚至新竹、泉州郊商都熱烈捐款。
到了光緒16年雖有修復但規模較小，當年董事林煥光以廟財一千八百元及庄民捐款五百元，
來修築破損及左右廂房；因光緒10年有法軍攻打淡水之役，經濟景氣受影響，修建規模比
道光3年規模小。
四年後的光緒20年（1894），因為甲午戰爭清朝戰敗、臺灣被割讓給日本，
隔年日本派近衛師團從三貂角登陸，以武力接收臺灣，激起臺北義軍起來反抗。
關渡宮因長期與官方維持良好關係，也有僧人參與抗日活動，
正月23日日軍來到關渡宮進行報復行為，往廟內潑灑煤油、縱火焚燒廟宇，
致百年古蹟焚毁大半。
當夜八里蛇仔形高姓村民趕來搶救媽祖、觀音神像回村，
藏匿於觀音山下的石壁腳，直到事平之後才又請回關渡。
因關渡宮僧人曾參與抗日活動，導致日軍進入後予以報復性的焚毁。
明治30年（1897）地方平靖後不久，鄉民開始重新建立廟宇。
據〈北投公學校校長報告〉所載，當年董事林大春及翁源隆協議，以廟財二千元及庄民樂捐
四百元籌資修建。關渡宮因有廟產租金的收入，故大部分的經費由廟方負擔，地方人士只需
負擔百分之二十，主導此次修建的人是關渡出身的商人林大春。
現存《重修關渡宮碑記》記載林大春為勸緣首事，捐龍銀二百元，
再加上其他信徒共計捐龍銀一千二百七十六元，結算後尚缺龍銀八十五元，
林大春再捐款補足缺額。
當時臺灣媽祖廟已多，雖已有多座廟宇，
但關渡媽祖地位在信徒心中仍相當重要，為了凸顯此歷史特性，
廟宇落成後便取名為「關渡宮」，且沿用至今……….
關渡原名甘豆門，因背倚觀音山和大屯山，面向淡水河，成為一處地勢險要的港口，
早年先民由關渡碼頭進入移居臺灣北部開墾，因此關渡的開發甚早，後因兩河(基隆河、
淡水河)河口泥沙淤積，水運才逐漸沒落。
天妃廟初創落成，《諸羅縣志》記載其熱鬧情形說：
「靈山廟：在淡水干豆門，前臨巨港，合峰仔峙、擺接東西二流與海潮匯，波瀾甚壯。
康熙五十一年建廟，以祀天妃，落成之日，諸番並集。忽有巨魚數千隨潮而至，如拜禮然。
須臾，乘潮復出於海，人皆稱異。」
囿於物資有限與社會環境，僅以茅草做為屋頂、因陋就簡地籌建完成。
康熙54年（1715），也就是草創後第三年，即被重新改建成木構瓦頂的新建築。
縣令周鍾瑄不僅從嘉義跋涉數百公里，前來臺北為重建的天妃廟題名「靈山」，
還將關渡宮後山及臨臺北湖埔地數十甲，授予住持僧綿遠來招佃開墾收租，
讓關渡宮得以永續經營下去。
