上虞是个小县城，原来人口不过万数。但当时城内寺庙、尼庵、道观和宗祠林立，敕五堂就被包围在尼庵祠堂之中。其东南角沿城隍河有清顺治年间建造的碧莲庵（俗称韦驮殿），北面有清嘉庆年间的莲碧庵（俗称新庵），西南与胡家祠堂毗连，西侧仅隔一小弄与赵氏宗祠为邻。敕五堂处在封建迷信盛行的环境中。
敕五堂先祖虽以儒学传世，以耕读教育子孙，当时大厅东西两侧的柱子上挂有“东方月上，忙开书卷课儿曹；南亩春来，预诫锄犁修穑事”的对联。但旧时的习俗影响着敕五堂的先祖以及子孙，如相信星相占卜，诵经念佛，婚嫁时的繁文褥节；殇葬时请职业道士超度亡灵，各种习俗的守旧与忌讳不同程度地体现在当时敕五堂人们的身上。大厅挂有“孝节”匾额，就充分说明敕五堂妇女的礼教和家庭教育。传说先祖在建造敕五堂前曾经相星术土，精心勘测，认为敕五堂前后左右有“五井两池”一位着“天罡七星”可保敕五堂消灾便民。这既是迷信，也有一定的科学道理。确实敕五堂300多年的历史中未发生过火警并使子孙在大旱之年，免受断水之苦，起到了一定的作用。
但是随着时代的进步，新潮流新思想也不断冲击着敕五堂的人们。20世纪初，敕五堂第六代世子孙庆阶公、朴山公与县城的其他有识之士成为开风气之先的人物。特别是庆阶公，积极推行新学，创办女子学校，济困扶贫，破除迷信，从而使敕五堂风气有所改变，更给以后子孙像胡愈之等以极大的启迪。
（根据胡家敕五堂传说记录）
