祁文豹，名匡训，字文豹。出生在清光绪四年（1878）祁家村一户家道式微的普通人家，其父祁兆林，字济臣，为晚清一廪膳生（明清两代称由公家给以膳食的生员）。据葛岙祁氏家谱记载，济臣“幼聪颖拔类”“下笔可千言”“文名雀噪”“远近咸目为大器”，因遭父母早逝之不幸，家道中落，孤苦无依。后被四方人家延聘为私塾先生，家业稍裕，方娶妻生五子（其一子幼遭犬咬，得狂犬病早夭，宗谱里仅存其名匡谋）。江南一带人家，按传统习俗，长子往往“业事诗书”，以期日后光耀门楣，次子乃至季子，或“躬耕垄亩”，或“行贩坐贾”，或“近奉双亲”。然父亲济臣对四个儿子均一视同仁，家里既有足够资财，供多位子女入私塾修学业，又逢晚清国势颓弱，外侮頻乘，济臣自然希望四个儿子早日成才，尽忠报效朝廷。后，长子文豹（匡训），次子文熊（匡谟），三子文驹（匡谈），四子文虞（匡诏）果各有所成。
文豹自幼聪敏好学，作为长子，不辜负父母重望。凡私塾中例教的“子曰诗云”，一经诵读览阅，则熟记不忘。幼年的他从四书五经中接受了温良恭俭让的传统思想，日常生活中亦以“君子食无求饱，居无求安”的标准来要求自己。在家上孝下悌，与兄弟相处极为和睦，在外则表现出少年老成，敏于事而讷于言。村人奇之，相互传告。渐渐地，祁文豹少年好学及孝廉的美名传遍了海游一带。二十岁那年，一次偶然的机会，他受到海游本地著名书法大家章梫先生的瞩目。章惜其才华，便召其至家，与之倾谈，略试其志，祁文豹则以正心修身齐家治国平天下答之。章梫先生微颔默许，同时又告诫他，当今世界，我中华虽泱泱大国，千年古邦，然已为列强之侵辱瓜分，仅靠正心无以平天下，不如“师夷技之长以制夷”，则我中华之复兴抑或有望。一席话竟与父亲平日教导暗合。当初，父亲济臣曾在子女面前多次感慨说，世界潮流，愈趋愈烈，列强争长，非尚武不克卫国。文豹心甚疑之，如今章先生一番直言如醍醐灌顶，自此，文豹便生远志。
时海禁初开，欧风东渐，晚清政府也深知国政不纲，社稷危急，于是倡办江南陆师学堂，征取各省优秀士子，授军事学识，成将略才能，以图救国。文豹幸得章梫推荐，与表兄王继美，愤而投班笔，执祖鞭，进入江南（南京）陆师学堂第一期学训班学习。不久，晚清政府又开出国留学先例，祁文豹因学业优秀，作为国内较早一批留学生，于光绪二十九年（1902）三月，以南洋官费保送至当时日本最著名的士官学校，入读第三期炮科班，旋得日本天皇嘉奖，驰名域外。
关于祁文豹这几批留学士官，二战之后，美国的鲁思·本尼迪克特曾在她那本论述日本的专著《菊与刀》中写道：“作为一个最早接受近代军事教育的群体，留日士官在清末至民国初年的中国军队近代化过程中起了主要的作用。使中国军队不仅从装备上，而且从编制、训练、体制和思想上从中世纪走向了近代。”清政府做梦也想不到，这几批留日士官包括祁文豹，在学有所成，归国数年后，竟拿起武器转而向处于风雨飘摇中的清廷旧堡垒开火，一座岌岌可危的封建帝制宫殿，就这样在新生力量的炮火声中轰然坠地。
在东洋留学期间，士官学校要求留日的中国士官必须像日本本土军官一样，奉明治天皇1882年颁布的《军人敕谕》为圣典。有资料写道：“宣读之时，神圣庄严，听众毕恭毕敬，鸦雀无声，其尊敬程度犹如对待摩西十诫和旧约全书……负责捧读的人如果念错一句，就要引咎自杀”。《军人敕谕》强调大节“忠”，不提小节“情义”，将个人情感完全抹杀。祁文豹虽已得天皇嘉奖，却无法接受这种非人性的洗脑教育，心生苦闷。期间，便与同在炮科班学习的一批浙江籍老乡诸如台州章亮元（三门人）、柯森，温州黄瓒，杭州高尔登等人过从甚密。平时一有空，就坐下来海谈国势。后由章亮元引荐认识了当时流亡日本的反清人物章太炎先生。1902年，章太炎为避江苏巡抚恩铭追捕，东渡日本，暂时居于横滨《新民丛报》社，与梁启超、孙中山相会。章太炎先生的到来，似乎给留日中国士官带来一股鲜活的空气。祁文豹受其感召熏染，毫无拣择地吸收了章的维新、反清到民主建国、民主主义思想，诚如德国哲学家叔本华所说的“大脑变成了别人思想的跑马场”。
1903年春祁文豹回国，历任江南将备码兵等学堂教官督练、陆军第九镇炮队教练官管带、辎重营管带官以及炮队统带官。同年，祁文豹预先加入了光复会（光复会正式成立于次年），并于当年夏天，建议光复会创建者绍兴人陶成章回浙江秘密联系各民间帮会，亲自陪他去宁海访问当时颇有影响力的伏虎会会主王锡桐。不料王因反洋教失败，为逃避清政府追捕，早已不知去向，因而没有遇到。以陶成章为首的部分人一直以来主张个人暗杀活动，鼓吹局部暴动，以为这样就能摧毁清朝政权。祁文豹因与陶交情不错，故而表面上不好反对，但内心却并不赞同。与此同时，祁文豹从小先入为主的儒家忠孝及非暴力倾向不时浮出水面，阻止着他参加各种血淋淋的暴力暗杀活动。
1904年，祁文豹正式加入光复会，非常赞同会长蔡元培先生提出的宗旨“光复汉族，还我河山，以身许国，功成身退”，为光复会的壮大做了大量工作，包括引导吸收了一批又一批新的成员。
宣统三年（1911），被压抑了很久的火山终于爆发，武昌起义开了第一枪，中国爆发了辛亥革命。祁文豹也积极投入到滚滚洪流之中。其间，祁文豹历任联军炮兵浙江兵站总监，江南军械浙江督署军事顾问，内河水警第二队署长，金陵军官学校主教官等职，并于民国元年十月奉令补授陆军炮兵中校，不久升上校加少将衔。
革命后，孙中山未经众议，收受日本政府资助，引发同盟会内部分裂。这给陶成章与孙中山埋下了不和的种子。1912年1月，陶成章躲到上海广慈医院装病，被蒋介石指使的光复会成员王竹卿暗杀毙命。蒋的思想亦来源于明治天皇的《军人敕谕》，以成大节不拘小节作为借口，为孙中山在权力之争中扫除障碍，从而做了一件孙中山一直想做又不能做的事情。祁文豹因与陶成章交好甚密而遭受排挤。陶之死令祁文豹坐卧怵然，在兔死狐悲之后，深感政治的可怕性，一个曾秉受正统儒家思想影响的谦谦君子，怎能认同那种为达目的不惜厚黑的政治行径呢？
1912年4月，孙中山在权力之争中败下阵来，只好宣称功成身退，辛亥革命的胜利果实就这样拱手让与野心家袁世凯。袁凭借武力向资产阶级民主制度开刀。1915年袁又发布接受帝制申令，并准备于1916年元旦加冕登基。此时，祁文豹感觉政治气氛已到了“车逶迟于山侧。棹容与而讵前”的地步，继续革命救济民生已属无望，心底黯然，不禁想起当初蔡元培先生初建光复会时的宗旨“功成身退”，又兼心中本来就存在着儒家思想的“穷则独善其身”的观念，百感交集，于是决定急流勇退，毅然解甲归田，重返故里，希望过一种相对平静的隐逸生活来了却残生。
回祁家村之后，祁文豹着手建造了这座占地面积达2800多平方米的院宅，仿佛他不是在建造房子，而是在营造一座内心的庙宇，好让自己在乱世中蜗居于此，以避开苦闷、忧虑、彷徨、失望。祁在造这座院宅之时不惜血本，罄其一生资财，仅供应砖块的小窑就整整烧了七年，不难想象当时的建筑规模。祁文豹念及同宗情谊，宅子建造完毕后，携同直系亲族中之贫困者入住其内。在经历大起落后，祁文豹终于可以静下心来，重新打开儒家经典，试图从中找回少年时期的梦想，寻出人生的真谛。他在潜心经典的同时，命族内子弟好生经营田园，不几年，祁家一族因经营得当，逐渐富甲一方。即使如此，祁文豹仍不忘家道曾有式微之史，因而同他的父亲祁兆林一样乐善好施。逢荒年，乡民中有来向他借米借钱的，他常常是多给一点，归还之时又往往少要回一点。宅子在祁文豹执掌时期最为鼎盛。宾客往来络绎不绝。曾一度是革命者的他，令人惊讶地变成了富贵和荣耀的象征。
正当壮年的祁文豹，在儒家经典中拨开云雾，境界渐高；与此相反，辛亥革命时期负伤留下来的沉疴，却令祁文豹健康每况愈下。1927年，八一南昌起义前夕，祁文豹未过知天命之年，因病溘然长逝于他苦心建造的宅子里。咽气之前，祁文豹举起右手，指向屋外天空：天空下有巍巍青山，田田沃土；沃土上有芸芸众生，亲朋族友！他苦心营造的这座耗资巨大的宅子，当然无法带入坟墓。家人按照他的遗言简葬，只在棺材中放入一本薄薄的《礼记》，将其葬于村庄对面形似笔架的青山上。