西遞村始建於11世紀的宋朝的元祐（宋哲宗）年間，
由於河水向西流經這個村莊，原來稱為「西川」。又因為在村西古有驛站，稱「鋪遞所」，
故而得名「西遞」，素有「桃花源里人家」之稱。
西遞始祖為唐昭宗李曄之子，因遭變亂，逃匿民間，改為胡姓，
西遞屬以血緣關係為紐帶的胡氏聚居村落。
胡家從1465年起開始經商，他們經商成功，因而大興土木，建房、修祠、鋪路、架橋。
在17世紀中葉，胡家中有人從經商轉向官場所產生的影響使村莊得到發展。
18世紀到19世紀，西遞的繁榮達到最頂峰，當時村裡大約600戶的居民。
西遞村中一條主道貫穿東西，與其兩側各一條與之平行的街道一起穿過很多窄巷，
構成東向為主、向南北延伸的村落街巷，村中街巷大多沿溪而設均用青石鋪地。
在敬愛堂、追慕堂、胡文光刺史牌坊等公共建築之前有小廣場。
現今保留下的古民居從整體上保留下明、清徽派民居村落的
基本面貌和特徵，主要包括古民居124幢，祠堂3幢等保護完好的明清古建築群，
大多數民居都對公眾開放。
904年，唐朝昭宗皇帝李曄因為戰亂從長安出逃，皇后何氏在途中生下一個男嬰，
當時在陝西做官的徽州人胡三秘密地將太子抱回徽州，含辛茹苦地將孩子帶大並且改名胡昌翼。
從此李唐的皇室之後就在此地開枝散葉。
胡昌翼就是西遞胡氏的第一始祖，
1077年胡氏五世祖胡士良因事途經西遞，為其山形水勢所吸引，不久舉家從婺源考水遷居西遞﹐
從而開始了胡氏宗族在西遞900多年的繁衍歷史。
胡氏祖先開始以務農為主﹐但身為帝王后裔﹐其自我意識卻相當貴族化，他們重視教育﹐亦耕亦讀，
1465年﹐胡氏宗族人口開始快速增長﹐隨著人口的劇增﹐有限的耕地不足維持生計﹐西遞胡氏因而
躋身于徽商行列，經商的成功﹐使更得他們有能力，也更迫切地培養子弟讀書，步入仕途。
從1662到近代，西遞 胡氏子孫在經商，仕途上均一帆風順，興旺發達，
明萬曆年間，出了個官至膠州刺史、荊王府長史的胡文光，
清道光年間，又出個江南六大富豪之一的胡貫三，以及清末內閣中書汪康年、
巨商汪定貴、胡雪巖、民國時期國務大臣汪大燮、 近代的胡適博士、胡錦濤主席等。
可說是地靈人傑…………
村前矗立明萬曆6年所立的胡文光刺史牌樓，全用本地青石建成，
雕琢精絕，巍峨高聳，為中國石坊建築中之瑰寶。
其實原先進村的路上有十幾座的牌樓，因故只剩下這一座。
胡文光牌坊俗稱西遞牌樓。建於明萬曆六年(1578)，距今已有400多年的歷史。
牌坊高12.3米，寬9.95米，系三間四柱五樓單體仿木石雕牌坊，通體采用當地的黟縣青大理石雕築而成，
整個牌坊上下用典型的具有徽派特色的浮雕、透雕、圓雕等工藝裝飾出各種圖來，
而每一處圖案都蘊含有極深刻的寓意。
胡文光牌坊造型莊重、典雅，石刻技藝出眾，
堪稱明代徽派石坊的代表作。
