由于社会动荡，朝廷更迭，书院曾无数次被战火摧残。其中被并获大面积摧毁和大规模的重建有七次。

第一次是绍兴元年（1131），金兵南侵，北宋灭亡，苦苦经营达150余年之久的书院被金兵焚毁，史称“什一仅存”、“鞠为荒榛”，事过34年后的乾道元年（1165）才开始重建。

第二次是至元十三年（1276），元兵南进，元将阿里海牙兵毁长沙，书院被焚为废墟，岳麓书院师生在抵抗元军的斗争中，大多战死，时过10年后的至元二十三年（１２８６）才开始重建。

第三次是指至正末年（１３６８），书院再次被战火摧毁，史称“寻毁为墟”。此后时隔６０年，即明宣德三年（１４２８）才有宁乡人周辛甫在废址上重建。又４０年后，知府钱澍也想到过重建，但两者均无大的举措。此后又过了２５年，也即宏治七年（１４９４），长沙府通判陈钢才全面重修岳麓书院。第三次兵毁书院后致使长达百余年停顿办学。

第四次是崇祯十六年（１６４３），李自成农民起义，张献忠部队进攻长沙，与明朝官军进行激战，书院在混战中被毁，史称“毁败无余”。时过２５年后的康熙十三年（１６７４），吴三桂发动三藩叛乱，攻克长沙，书院被毁，而书院刚刚修好了才４年，这是第一次即兴即毁。

第六次是咸丰二年（１８５２），太平天国军进攻长沙，史称“书院毁半”，其实丁善庆任山长，第二年开始修复。

第七次是１９３７年爆发的抗日战争期间，日本军队出动２７架飞机，对岳麓书院进行轮番轰炸，书院御书楼、二门、讲堂卷棚、百泉轩、文庙大成殿等建筑被毁，这是第一次被外邦强敌所毁。战后进行了简单的修复。

从上述七毁七建的经历中，可以看出岳麓书院在漫长的发展过程中所承受的劫难和顽强复生的人文精神，上述重建尚不包括历次大修或其他人为原因的重建，如将岳麓书院每次重建、大修累积起来，足有数十次之多。在这浩繁庞大的重建工作中，无以数计的先哲大师、地方官员、乡绅和普普通通的劳动群众，将自己的心血倾注在这块土地上，它们的建设之功，是我们所应当记取的。