始建于明初，曾毁于清末战火。同治五年1855庙内僧人德缘化募重建，但只有中殿和后殿等建筑，光绪五年黄仕林修建了从山门至中殿的132级青石台阶，民国25年又重修一次，1952年神像被毁后成为部队营区，1986年，释农月主持修复了清代建筑，从1999年开始，泰山庙陆续拆除原有建筑翻建、扩建寺庙。