中岳庙前身是太室祠，最迟在西汉汉武帝时已经存在，原为祭祀嵩山太室山神的场所，随着祭祀山岳制度的消失，中岳庙后来成为道教的活动场所，但仍保留着礼制建筑的特点。中岳庙是中国道教在中原地区活动最早基地。南北朝时期，道教在中国形成，太室祠易名为嵩岳庙，成为中原地区道教活动中心。

中岳庙基本上保留了清代重修以后的规制。庙中有殿、宫、楼、阁等建筑39座近400间。共有7进11层建筑，中轴线上的建筑高大雄伟，主殿峻极殿是五岳中最大的殿宇。中轴线两侧分布有古神库、四岳殿、东西廊房、火神宫、祖师宫等多组院落，是道士分别举行祀典和生活的地方。庙内还有古代碑刻73品，汉代至清代的古柏330多棵。完整的建筑布局使中岳庙成为一座主次分明、错落有致、布局紧凑、色调和谐的庞大建筑群。

中岳庙始建于秦，西汉元封元年(前110年)汉武帝游嵩山时下令祠官增其旧制;东汉安帝元初五年(118年)增建"太室阙";南北朝期间曾两迁庙址于嵩山玉案岭、黄盖峰。约在北魏时改为今名，后庙址复有变迁，唐玄宗时复归原址，并有扩建;宋乾德二年(964)增建行廊一百余间，

祥符六年(1013)增修崇圣殿及牌楼等八百余间，时雕梁画栋，金碧辉煌，为极盛时期;明代崇祯十七年(1644)毁于大火。现存庙宇为清代重修后的规模。中岳庙历经2000多年的沧海桑田，风吹雨打，经过很多代人不懈地修建，才得以完好地保存至今。

历史上的汉武帝，对于建设全国统一的多民族国家作出过巨大的贡献，但因时代的局限，到了晚年，热衷于神仙方士之说，渴望自己能够同传说中的轩辕皇帝一样，成为神仙。西汉元封元年(公元前110年)，汉武帝游览和礼祭嵩山，在登上太室山时发生了奇迹:随从的官员在山上听到好像有呼"万岁"的声音，其实，这是方士们为博得汉武帝欢心，投其所好而设的一个骗局。但晚年好大喜功，贪恋长寿的汉武帝听后十分高兴，于是下令叫祠官增建太室神祠，禁止砍伐山上的树木，以山下之百产封给神祠作为供奉之用，使中岳庙地位更加巩固。同时，太室山也被封为"嵩高山"，简称"嵩山"，正式与中国原有的四岳并列，称为"中岳"。

北魏时，祠址经过了三次迁移后，定名为中岳庙，从此由道教管理。唐代中岳庙得到了进 一步发展。武则天于万岁通天元年(公元696年)登嵩山封中岳时，加封中岳神，改嵩阳县为登封县。武氏对中岳庙的"情"有独钟，使它的声望日益兴盛，八方传播。

唐开元年间，唐玄宗李隆基仿照汉武帝加增太室祠的故事，对中岳庙大加整饰，扩建殿宇，是中岳庙的鼎盛时期，为之奠定了坚固的基础。

元末由于战乱庙宇倒塌严重。明清两朝对中岳庙又多次整修，特别是乾隆时按照北京清故宫的建造方法，对中岳庙作了一次大规模的全面整修。又设宜道会司，以掌管全县的道教事务。从此，中岳庙飞甍映日，杰阁联云，梁画栋，金碧辉煌，整个庙宇的布局制式都与故宫相似。

乾隆十五年(公元1750年)十月初一，清高宗(即乾隆)至中岳庙致祭，当夜御制《谒岳庙》诗二首，其一为:"正正堂堂地，巍巍焕焕京。到来瞻气象，果足庆平生。惬我长年愿，陈兹祈岁情。忽闻鸾鹤韵，疑有列仙迎。"中岳庙"得宠"于历代帝王，由此可见一斑。庙内主要建筑，从南向北，由低至高，顺次为中华门、遥参亭、天中阁，配天作镇坊、崇圣门、化三门、峻极门、峻极坊、大殿、寝殿、御书楼，前后共11重。最北以黄盖亭为终端，站在亭内可俯瞰中岳庙全景，远眺苍翠群山。中轴线两侧建有太尉宫、火神宫、祖师宫、神州宫、小楼宫等。殿宇、楼阁、廊庑等共400余间，气势恢宏。庙内古柏参天，碑碣林立，珍存着许多文物瑰宝。