公會堂的所在地原是清朝道光年間士紳吳尚新的吳園，
現於其後仍留有吳園的一部分。
而相傳吳園所在地在更早之前
是荷治時期向鄭成功建議攻臺的荷蘭通事何斌的府邸，
1661年5月3日鄭成功並在此接見經何斌引導的荷蘭
使者湯馬斯‧范‧伊伯倫（Thomas van Iperen）與
李奧納多‧范‧李奧納杜斯（Leonard van Leonardus）等人。
日治時期初期由於臺南一帶缺乏公共聚會場所，
明治四十年（1907年）臺南廳長津田毅一召集臺南官紳決議成立
「社團法人臺南公館」，計畫讓臺南官民每人出資5圓當作籌建基金。
此時因為吳家財務欠佳要出售家宅，該組織便打算買下吳園來興建洋館。
而後在明治四十三年（1910）7月，「社團法人臺南公館」變更為
「財團法人臺南公館」。
同年（1910年）因為將舉行「南部物產共進會」（1911年2月舉行），
當時的臺南廳長松木茂俊任命技手矢田貝靜睦設計此建物，
官民合資4萬多圓興建，
工程在明治四十三年（1910）9月12日開工，
由佐佐木紀綱的佐佐木組負責興建，最後在次年（1911年）2月1日
舉行落成典禮。
大正七年（1918），在本館之外增建45坪的日式座敷
和12坪的能劇舞台及控制室。
該建物起初稱為「臺南公館」，
後在大正十二年（1923）8月10日「財團法人臺南公館」
解散後，改稱臺南公會堂。
該建物是當時臺南市民重要的集會場所，
也兼具教化百姓的功能。
當時臺南市甚至臺南州、高雄州重要公共政策之制定和演講、
集會等均在此舉行，而臺灣文化協會成立後，蔡培火、連橫等人
亦在此處演講。
二次大戰後，政府將此棟建築改稱為中山堂，
為空軍新生社和軍友社使用，後來又於1955年6月改為
省立臺南社教館並予以整修。
而在社教館於1994年移到臺南市五期重劃區後，
該建築一度因位於市中心而有拆除作為商業區興建大樓之議，
最後此議作廢，該建築改為吳園藝文館。
近年在經歷整修工程後而呈今貌。
臺南公會堂為西方古典樣式建築，整體空間是由前棟與後方
的大集會堂所組成，其中大集會堂是木構造，位於一基座上，
講求機能性而未使用西方歷史建築語彙裝飾。
前棟則有較多的西方歷史建築語彙裝飾，
在中央入口部分的二樓設有陽臺，更上面的三角型山牆內
則有繁複的裝飾浮雕，而山牆之上則是該建築最高的屋頂，
上頭突出部分為老虎窗（Dormer Window），
其內則開有牛眼窗。
而主體屋頂則使用了法國式屋頂（French Roof），
並鋪有魚鱗狀板瓦和加上冠飾。
前棟兩翼部分在一樓正面牆上開有三個稍微內凹的圓拱窗，
而窗子的拱心石與壁體水平線連成一體；二樓正面牆上則使用了
四根臺灣少見的愛奧尼克柱式方壁柱來承接楣樑與挑簷而成三個開間，
而柱子之下則有曲線優美的托架，
此一處理方法也是少見的。
而在兩翼屋頂部分前的矮牆上裝有
臺灣傳統建築使用的綠釉花磚，
使得該建築
增添了一些本土味。
