大林陳宅望遠樓建於1921-1922年間，陳瑞祥先生以經營碾米廠起家，
因投資買賣製糖會社株票發跡，成為地方富豪，「望遠樓」為招待日本商社與
地方仕紳飲酒作樂的酒樓，以「登高望遠」之幽遠寓意命名，
正面山牆上以「老鷹」，背面則以「孔雀」為吉祥飾物，
山牆以捲草圍繞著「陳」，寓意宣揚威望，
與後方傳統三合院，為中西合併的民宅，
正身及左右護龍牆面延續洋樓紅白相間的水平橫帶為裝飾，
搭配庭院綠意，為大林建築代表之一。
當時陳瑞祥在大林地區的聲望可用兩句話來形容：「赴田園耕耘，不必取道他
人田埂」，「地方官員選舉若非經他點頭，肯定當不成」，
針對此事，臺灣糖業文化協會總幹事黃嘉益再補充道：
「連大林糖廠召開股東大會，在陳瑞祥未到場前，所作的任何決議均
無效。」
此外，他也是民間宗教最虔敬的信仰典範，家裡大廳供奉眾多神明，每逢神明生日
常大排場辦筵席宴客，禮聘戲班到府演戲，以饗村里眾鄉親。
甚至於宅第還成為「北斗詩社吟唱詩詞」的集會地點；
日本官員、各地豪門也經常進出陳宅，
甚得當地人士敬重……
望遠樓右側有一古厝，
研判一樣為其家族所有。
