王氏宗祠始建于北宋嘉佑六年（1061），元代遭兵风焚，明永乐十二年，（1414）于旧址重建。
清雍正二年（1724）维修。
经乾隆、嘉庆、光绪年间多次扩建而成。
始祖王万庄，宋代进士，曾任宝庆邵阳令。
晚年携家眷云游，卜于长坪。
此地山环水绕，当时祠前有一口阔约百亩的大水塘，塘中小山俨若一方官印。
有好事者去挖，越挖越长。
有个风水先生怕毁了这风水宝地，杀了只狗，将狗血淋到印山上，从此印山再不往上长了。
万庄公这才买田安家，在水塘边建了小祠堂，名叫崇本堂。
后来祠堂被烧毁，万庄公十四代孙王大礼上书衡州知府史中，史中批示同意建祠。
这时王氏族中出了个工部尚书王诏，由他主持修祠，20年后建成。
史中亲自将“楚南第一家”改为“衡阳第一家”。
从此，“衡阳第一家”声名大振。
