谷子村还建有“鬼谷子祠堂”一座。这座祠堂建于何时,还搞不准确,但该祠还保存有清光绪九年(1883年)“重修鬼谷先生祠堂碑记”一通,这说明清光绪九年修建鬼谷子祠堂是重修,早在此以前,就有了“鬼谷先生祠堂”。此祠堂的修造时间估计与盐食村王圣母祠堂差不多。王圣母祠堂建于明代,推算“鬼谷先生祠堂”也与其母王圣母祠堂同期建造,或者更早。如果以宋《相台志》上记载,当时就有了“鬼谷子村”(俗称谷子村)的话,那么当地老百姓为了纪念鬼谷子,当时可能就建造了这座祠堂。根据笔者掌握的资料来看,目前全国各地关于鬼谷子的遗迹很多,但专门为鬼谷子建造的祠堂还不多,从这一点也可以推测,河北省临漳县谷子村就是鬼谷子故里(老家)。