霍州市的“霍”是山西省内最古老的地名之一。早在殷商卜辞中就有“癸未卜在霍贞王旬亡祸”、“贞霍，其霍”的记载。其中的“霍”即指今霍州市一带。西周初，周武王封其弟叔处于霍，建霍国，是为霍叔，与管叔姬鲜、蔡叔姬度同为周初三监之一。到公元前６６１年，晋献公灭霍国，末代霍君霍公求逃到齐国避难，其子孙流亡各地，并皆以祖先封地霍为姓，这便是霍姓的起源。　　在西周时期，霍国还有个叫“彘”的地方。当时周厉王无道，引起国人叛乱，公元前８４１年周厉王逃亡到彘，至前８２８年便死在这里。　　西汉因在此置彘县，东汉阳嘉三年（１３４年），改名永安县。隋开皇十八年（５９８年）改名霍邑县。金为霍州治所。明洪武初，霍邑县省入霍州。民国初改名霍县。１９８８年设霍州市。　　对于“霍”的解释也有多种说法，比较流行的一种认为：霍山又名太岳山，所以霍是“霍然大也”。其实早在东晋郭璞在《尔雅注》中已进行了合情合理的注释，他认为“霍”是先秦方言，义为“大山包围着小山”。郭璞一生集“尔雅学”之大成，并以晋代语词中的古语考见古今语音流变，他的解释无疑最具权威性。 郝懿行在注释时也赞同郭璞的说法，他说：“山以霍名者非一，皆本地为义也。”他认为全国有多处以霍为名的山峰，而且都是“大山围小山”式的地形。他举安徽的霍山为例：“天柱山中峰小而四围有大山以绕之，与此合矣。”其实山西的霍山也是这种地形，其中部低平，四周山峰环绕。明代《嘉靖七年九月平阳知府祭告霍山文》中就这样描述了霍山的形势：“抗中条而屹乎如案兮，环群峰而缭焉如墙”。这都证实郭璞对“霍”的诠释是很有见地的。　　《水经注》中还记载了霍国末代国君霍公求的一个故事。传说晋献公灭霍国后，霍公求逃往齐国，结果这年晋国大旱，民不聊生。掌管占卜的官员说，这是霍山在作祟，山神无人祭祀的缘故。晋献公只好遣使赴齐请霍公求回国专祀霍山，后来晋国才又获得好收成。这一传说是关于祭祀霍山神的最早记载。