胡雪岩故居位于杭州市河坊街、大井巷历史文化保护区东部的元宝街，建于清同治十一年（1872年）胡雪岩事业的颠峰时期，当时豪宅工程历时3年，于1875年竣工。落成的故居是一座富有中国传统建筑特色又颇具西方建筑风格的美轮美奂的宅第，整个建筑南北长东西宽，占地面积10.8亩，建筑面积5815平方米。
胡雪岩这位创办了胡庆余堂国药号，富甲一时的红顶商人，所建巨宅宅内有十三楼、芝园、亭台楼阁、小桥流水、明廊暗弄，建筑构思巧妙，砖雕、木雕、石雕、灰雕无品不精。经浙江省林业厅及北京相关专家对原有老建筑的木料取样化验鉴定，发现原有建筑均以银杏木、楠木、酸枝木、紫檀木、南洋杉、中国榉木等名贵材料来建造。故居当年的确切造价不详，据说应在50万两白银以上（当年单是堆砌芝园内的假山，据说就耗银10多万两）。
故居内的花园芝园怪石嶙峋、巧夺天工，其中的假山为国内现存较大的人工溶洞。进入故居，那回旋的明廊暗弄、亭台楼阁、庭院天井、峭壁假山、小桥流水、朱扉紫牖、精雕门楼，使人仿佛进入一个大大的迷宫。
而百狮楼、锁春院、怡夏院、洗秋院、融冬院、延碧堂、载福堂、和乐堂、清雅堂无处不奇；木雕、砖雕、石雕、堆塑、彩画则无品不精。故居内还有董其昌、郑板桥、唐伯虎、文征明等名家的书法石刻作品，轿厅内的两顶做工考究的红木官轿很是值得欣赏一番。