康熙五十五年（1716），岸裡社頭目阿穆歸順清廷，漢族勢力大舉進入神岡地區。
原居於彰化縣揀東上堡瓦窯仔庄（今台中市潭子區）的呂家，到乾隆五十五年（1790）
林爽文事件後，移居三角仔建屋落戶。
至呂氏開台先祖呂祥省孫子呂衍納（呂世芳）時，
因善於務農經營，家業逐漸昌隆，成為望族富戶。
地方傳說是呂世芳在現在豐原田附近的山坡地撿到一副
枯骨的銀子而致富，之後他將枯骨奉祀在后里，並尊為「福媽」。
呂世芳兒子呂炳南（呂耀初）繼承家業後，為了奉養祖母，
於同治五年（1866）先建造篤慶堂。
光緒四年（1878）陸續興建外護室、書齋筱雲軒與半月池，
最後是昭和八年（1933）興建的近代建築，
成為今日所見的筱雲山莊。
呂家渡海起家時期時間大概從1771─1870年的100年間，
歷經呂祥省、呂蕃煥、呂世芳至呂炳南初期，前四代當主主要的發展模式是
透過拓墾，經營田產，逐漸透過參與地方祭祀神明會，擴大其在地方經濟合作
組織中的領導地位，以及文教地位。
第一代當主（12世）呂祥省（1723─1782），屬福建漳州詔安的北田房派下，
於乾隆36年（1771）渡海來台拓墾，文獻記載最初在現臺中市潭子區拓墾。
第二代當主（13世）呂蕃煥（1766─1843），為鄉飲大賓。
1790年因發生林爽文事件，移居至今臺中市神岡區三角里，
而後於道光6年（1826年）於今臺中市神岡區三角里中興路30巷32號之地
興建後世所稱頂瓦厝呂家頂瓦厝。
透過參與漳州人的神明祭祀組織中和會，參與地方文教與墾殖事務，
逐漸拓展家族版圖。
第三代當主（14世）呂世芳（1806─1855），
恩授正七品文林郎，敕封從六品儒林郎。
道光咸豐年間，透過「呂三光」為名的家族公業，
與其弟呂達芳、呂含芳持續參與地方拓墾，勉於經營並善於間縱之下，
逐漸成為三角仔莊一帶豪戶。
呂世芳是三角仔呂家先期當主中，最善經營者。
由於呂世芳善於經營，並樂於排解鄉里困難，後來鄉野間對其多有軼事傳聞。
其中最為廣傳者乃指呂世芳之所以傳奇致富乃是因上山拾柴時無意發現無名白骨，
因起善念帶白骨回家安奉而後受到庇佑而從此雄飛。
第四代當主（15世）呂炳南（1829─1870），
邑庠生（秀才）、縣訓導、敕授正八品修職郎。
咸豐5年（1855）任中和季首事（後稱總理），並於同年另創文英社，
同治5年（1866年）興建筱雲山莊，同治8年（1869年）創文英書院
並於光緒3年聘吳子光為西席，孕育丙子年恩科三甲進士第二名施士浩，
已丑年恩科三甲進士第九十六名丘逢甲、癸巳恩科中式第七十九名舉人林文欽、
清水蔡時超、以及戊子年恩科舉人子呂汝修。
好藏書，經商往返大陸與台灣之間必蒐羅典籍充實其書齋，
後人開放書齋筱雲軒，供族人及各方遊學之使用，軒中藏書，
通計二萬一千三百三十四卷，為清代海東最大私人藏書之地，
後文史研究者莊永明稱其為台灣第一藏書名家。
1870年夏自赴福建參加鄉試返台因遭颱風襲擊，
風檣傾折，海難而亡，享年42歲，諱潮朗。
西席吳子光輓以聯云：
君真海上成神，望寶筏慈航，相與度眾生苦厄；
我亦蘆中窮士，憶琴歌酒賦，最難忘舊日交情。
其墓在筱雲山莊北側約一公里外
田埂之中……….
”
