1906年兒玉源太郎總督和後藤新平民政長官離任，
官方籌畫大興土木紀念兩人治臺功績，當時《臺灣日日新報》報導：
「彼所謂紀功碑，凱旋門猶此例也。是等之建設物，凡以示戰勝之偉勳，
于千秋之下，使後世之人有所觀感而興起焉。」
另有報導云：「兒玉前督後藤民政長官，治臺之功震聞中外，固不煩贅也。
其統治也，自法律制度以至財政、拓殖、道路、交通、衛生、教育等，
治具畢張。匪氛絕跡，瘴癘之氣收。而島民共安堵樂業，
享福利被德澤，駸駸乎進文明之美域焉。」
雖是由總督府啟動紀念前總督和民政長官的建設，
但也認為不宜使用公款，因此舖陳由臺灣本島仕紳發起
捐款的輿論形勢。
島民間推林本源家及辜顯榮諸氏為副委員長，
這兩人一則資產累千萬，一則百數十萬。皆擁有此巨資，
亦願慨當以慷，力任仔肩，獨籌建設，
1913年資金尚未募齊，紀念館已選擇新公園，
並於1915年完成，4月18日舉行落成式，
紀念館由總督府技師野村一郎、技手荒木榮一設計，
高石組高石忠慥承攬建築營造、原田金次郎承攬電燈工程，
技師近藤十郎、吉良宗一擔任監造，
採用歐洲博物館常見之新古典主義風格，
兼具仿希臘神殿多立克柱式支撐的三角山牆與羅馬建築穹頂，
整體建築平面配置座南朝北呈左右對稱一字形，
中央棟全棟為鋼筋混凝土構造，左右翼為磚及鋼筋混凝土混構，
屋頂為木造鋪銅板瓦。地下室地板鋪設混凝土與瀝青覆水泥粉刷為防白蟻防水、
室內裝修材包括：左右翼樓一、二層為鋼筋混凝土樓板上鋪設木地板，
木地板上鋪亞麻油毯，陽臺鋪設日本製地磚。
中央棟一樓廣間鋪設美濃國赤坂（今岐阜縣南部）產黑大理石及
水戶產白寒水石，中央為大理石馬賽克拼貼，玄關、通道等鋪設德國產地磚；
二樓迴廊為臺灣產白大理石及黑板岩，休憩室為木地板上鋪亞麻油毯。
壁面腰板、踢腳採用美濃赤坂產更紗大理石，
扶手格子為黃銅，休憩室踢腳板、腰企口板使用櫸木。
外部裝修基礎石及正面、背面中央樓梯使用安山岩，
腰板以上為洗石子。
專為儀式性紀念目的而設計的大廳，
環繞著挑高的32根複合式柱（Composite Order），
每根高32尺，直徑2尺7寸。
採光穹頂下的鑲嵌玻璃天花離地板54尺，圖案包含兒玉家
及後藤家紋「軍配団扇に五枚笹」與「下がり藤」，
也可見於柱身壁燈座兩側浮雕，
由新海竹太郎製作的兒玉、後藤兩座銅像
則矗立於兩側壁龕………
戰後隸屬於臺灣省行政長官公署，改制為臺灣省博物館；
再隸屬於臺灣省政府，更名為臺灣省立博物館，因展示空間不足，
取消南側可欣賞公園景致的陽臺，外推為可作為
展覽使用的室內廊道空間。
1991年至1996年，臺博館由省住都局建築處主辦修復工程，
漢寶德主持的漢光建築師事務所承接調查研究及設計監造，
將日治時期木桁架屋頂拆除改為鋼構屋頂，
增加第三樓層三百多坪。
2003年起進行整修改建，包括館前廣場景觀設計拆除廣場外
金屬欄杆，重整內部設備管線，拆除二、三樓間局部樓板，
改造入口、服務臺、洗手間及視聽室，
2005年納入文建會首都
核心區博物館計畫。
