宫址即城内五一路中段北侧毗邻光孝寺。明代称淮提庵,清代改称祐生祠,又名泰山庙,俗称奶奶庙,后改名泰山行宫,民国十七年(1928)废泰山行宫名,复称古淮提庵。泰山行宫有山门殿五间,中三间连通,两侧塑哼哈二将神像。通过天井进入二殿,殿中央供奉着开口常笑、大腹便便的弥勒佛和三面千手观世音像,两侧塑有形态各异、栩栩如生的彩塑道士群像。过二殿,进入大殿,殿宇巍峨,金碧辉煌,端庄秀丽的泰山神女铜坐像供奉在殿中央。神女像前还供着木质装金的天后圣母娘娘像。殿前有古柏和右银杏各一株。殿侧有素心梅一株。庙内东侧有屋八间、厅屋三间。西侧有厢屋七间、厅屋三间、厨房三间。庙中殿宇古朴雄伟,结构精巧,飞檐串角,歇山重檐,颇具南方建筑风格,有较高的艺术和历史价值。现除二殿迁建于泰山公园外没存大殿一座、山门殿五间、东厢屋八间、厅屋两间。