隋開皇十年，文帝楊堅北巡挖河道，獲一巨石，似鐵非鐵，似石非石，色蒼聲錚，以為靈瑞，遂命名為“靈石”，割平周縣西南地置為靈石縣。

靈石縣，于隋開皇十年（公元590年）置縣，距今已有1400多年的歷史，春秋時屬晉；戰國時先趙后魏；秦漢時，先屬太原郡，后屬河西郡；三國時屬魏；晉時屬西漢郡；隋初屬平周縣（今介休縣）。

唐貞觀元年（公元627年）廢郡設道， 靈石縣屬河東道；北宋至道三年（公元997年）改道為路，靈石縣屬河東路汾州府。元至元二十三年（公元 1286年）創立行省，靈石縣屬中書省；明洪武九年（公 元1595年）改屬冀南道汾府；清初屬山西省平陽府。乾隆三十七年（公元1772年）設霍州，靈石縣屬霍州管轄，直至清末；民國三年（公元1914年）廢州設道，靈石縣屬河東道。民國十九年（公元1930年）廢道直屬山西省。1938年成立靈西抗日縣政府，歸洪趙地區領導。1939年成立靈東抗日縣政府，屬太岳專區管轄。 1948年6月靈石縣解放，成立縣人民政府，屬榆次專署。1958年靈石、介休、孝義三縣合并為介休縣，靈石縣城改為靈石鎮。1961年分縣，恢復靈石縣建置后 一直歸晉中行署管轄。