Frem til august 2011 fantes det også nok et byprefektur; byprefekturetChaohu (Anhui) (滁州市) med over 4 millioner innbyggere. Det ble fordelt på tre naboprefekturer.
Provinsen Anhui ble opprettet på1600-tallet. Før det var det ingen enhet som het Anhui, heller ikke med noe annet navn. Det nordlige Anhui var kulturelt klart en del avden nordkinesiske slette og hadde dermed mye til felles med det som i dag er provinsenHenan. Det sentrale Anhui omfattet det meste av det fruktbare og tett befolkede nedslagsfeltet for elvenHuai He. Det sørlige Anhui, som er orientert rundtYangzielven, var kulturelt mer beslektet med provinseneHubei og sørligeJiangsu. Og høydedragene i det sørøstre Anhui utgjorde sin egne distinkte kulturelle sfære. Opprettelsen av provinsen har ikke utvisket de kulturelle forskjellene.
UnderShang-dynastiet var det meste av området befolket av ikkekinesiske folkegrupper som kollektivt gikk under det kinesiske navnetDongyi.Kong Tang av Shang, legendenes stifter av Shang-dynastiet, skal ha hatt sin hovedstad i Bo (亳), i området rundtBozhou i det moderne nordlige Anhui.
Ide stridende staters tid ble Shouchun (det moderne fylketShou) i det sentrale Anhui tilfluktshovedstad for statenChu etter at dens kjerneområder i det moderneHubei ble erobret fra vest av den mektige statenQin, i278 f.Kr.. Qin klarte etter hvert å erobre hele Kina i221 f.Kr. og dannet dermedQin-dynastiet.
På300-tallet trengte en rekke nomadiske stammer fraSentral-Asia inn i det nordlige Kina. Dette innledet noen århundrer med politisk skille mellom det nordlige og det sørlige Kina. Ettersom Anhui lå i overgangssonen mellom nord og sør, gjennomlevde det stadige maktskifter, og de forskjellige delene ble delaktig i forskjellige historiske skjebner.Slaget ved Feishui i383, fant sted i Anhui.
Sui-dynastiet (581-618) ogTang-dynastiet (618-907) innebar fred og enhet i Kina; i disse årene var Anhui styrt av vekslende jurisdiksjoner.
MedMing-dynastiet ble rikshovedstaden til å begynne med lagt tilNanjing, og da ble det som nå er Jiangsu og Anhui gitt en felles spesialstatus som territorium direkte understilt sentralregjeringen, og kaltNanzhili (南直隸 «sørlig direktestyrt»). Dette vedvarte selv om hovedstaden snart ble flyttet tilBeijing.
Qing-dynastiet, som erobret Kina i 1644, endret dette ved å omgjøre Nanzhili til en vanlig provins under navnetJiangnan, og i1666 ble Jiangsu og Anhui splittet opp i to provinser. Dette var begynnelsen til den nåværende provinsen Anhui, som for det mesdte har beholdt sine daværende grenser. Den eneste virkelig større endringen var flyttingen av provinshovedstaden fraAnqing til det mer sentralt plasserteHefei i1946.
DaFolkerepublikken Kina ble grunnlagt i 1949 ble Anhui i kortere tid delt i to administrative regioner: Wanbei (nordlige Anhui) og Wannan (sørlige Anhui). De ble slått sammen til én provins i1952.