據金門縣志記載：金門最初之氏族，晉有逃難來者六姓，蘇、陳、吳、蔡、呂、顏是也。
唐有從牧馬監陳淵來者十二姓，為蔡、許、翁、李、張、黃、王、呂、劉、洪、林、蕭。
金門楊氏，是主要分衍於官澳、湖美、湖下、榜林等地之大姓。
湖下位處安岐湖下端而得名。安岐湖為古金門五大湖之一。
明朝初年，十七都官澳楊建業因為逃避倭害，輾轉來到此地定居，
後來子孫繁衍聚族成村，村名「湖下」。
湖下因楊氏人丁鼎盛，繁衍成族而成為血緣聚落，設有楊氏家廟。
其族裔衍至塘頭、榜林、東坑與林厝。
楊金魚、楊篤選宅第楊金魚、楊篤選兄第早年隨親族前往星馬發展，致富返鄉興建此處建築，
兄長楊金魚住在86號左側增建疊樓樓護龍，另一棟則由弟弟楊篤選居住。
據說在興建此屋之前，為了打造建築所需石材，石匠們在現建築的右前租屋近二年的時間，
才將建築所需石材打造完畢；
楊金魚居住於此時，家中聘有佣人數人，且在護龍建築置入可供楊金魚抽鴉片的煙舖，
想見楊家在當時富有的情況。
另外，在86號建築大廳燈樑上懸掛與名字相同的吉祥物「金魚」，
直到日本侵華之時，楊金魚一家為了躲避戰亂舉家遷往星馬，從此再也沒有回到家鄉。
民國三十八年（1949）國軍駐守金門，
由於楊金魚、楊篤選兄弟宅第建築規模宏大，因此被選金西旅旅部辦公室。
此外，由於建築後方就是湖埔村辦公室，且屋後空間開闊，因此常做為湖埔村民重要集會場所，
軍隊並於宅第後方牆面寫下軍事標語。
