Det er på grunn av sin beliggenhet vest forTaihangfjellene at provinsen heter Shanxi (= «vest for fjellene»). Den administrative provinsforkortelse Jin (晋) går tilbake til oldtidsstatenJin som lå i samme område.
Shanxi hører til den kinesiske kulturs vugge. Det tidligeXia-dynastiet utviklet seg her. Særlig var den fruktbare delen av Shanxi del av dette kulturelle kjerneområdet. Arkeologiske funn i den nordligere del av provinsen belegger at det området kom inn under den kinesiske kulturkjerne underZhou-dynastiet (1100-771 f.Kr.)
I 1900 spredtebokseropprøret seg inn i Shanxi, og etter revolusjonen i 1911 ble provinsen kontrollert og gjenoppbygd av militærguvernørenYan Xishan (Yen Hsi-shan). Fra1937 til1945 var Shanxi okkupert avjapanerne. Etter krigen kom Yan igjen til makt, men måtte gi seg dakommunistiske styrker kom til makt etter atMao Zedong trakk seg ut av baseområdet rundtYan'an i det nordligeShaanxi. Yan flyktet i 1949 tilTaiwan, der han ble statsminister.
Disse 11 enhetene på prefekturnivå er inndelt i 119 enheter på fylkesnivå (23distrikter, 11byfylker og 85fylker). Disse er igjen inndelt i 1386 enheter på kommunenivå (564 bykommuner, 634 kommuner og 188 subdistrikter).