日治初期推行市區改正，臺南市區改正委員會即規畫在
市區南北各設一處公園。然而，考慮同時興建兩處公園需龐大工費，
故優先造營較為僻偏的北公園。
日治時期明治44年12月，臺南廳長松木茂俊發起臺南公園造營，
擇定臺南市大北門街面積15甲餘地域、造營費計19萬圓。
翌年審議結果，造營費小修為17萬圓，寄附金額亦降9萬圓。
由於當時臺南廳範圍遼闊，南至鳳山、打狗，
其中也有鳳山、打狗居民的捐款。
公園設計由臺南廳技師島田宗一郎監督、造園師澤井半之助設計。
建園工程可分為造庭與工作物為兩大類。
造庭工事中，一半的地域為整地舊城壁、墓地及慈惠院附屬乞食藔
（慈善機構，今臺南仁愛之家前身）以興建運動場、競走場、
器械運動場、花苑及噴水池等。另一半則為改建魚塭、
凹窪地與小丘，使之有假山、飛瀑、橋梁、亭榭等，
並有植物苗圃。
大正元年(1912)十一月臺南公園營造動工，
大正6年（1917）完工，配合臺灣總督府始政22週年紀念日
於同年6月17日舉辦開園式。
原台南公園管理所位於公園裡，
民國九十二年（2003年）5月13日公告為臺南市市定古蹟。
該建築在臺灣日治時期時是公園治安的管理中心，
現在則是臺南公園駐警隊所在地。
該建築為西洋式建築，屋身不大，由老古石砌建，
。左前屋簷下有兩根仿神社鳥居的木柱，而在木柱中間
有一平臺，過去可能放有「招魂碑」。
而在其側面亦有開窗，並有一門上寬下窄，
形狀亦似鳥居，與前面所提到的木柱為將東洋建築元素
注入西洋式建築的例證。
而該建築使用硓𥑮石，而不用常見的清水紅磚、洗石子
作牆面的原因，據范勝雄〈台南公園古石屋探源〉認為
應該是在臺南公園開園時，拿被拆毀的大北門硓𥑮石月城
作為建材使用。
