Klitzing 1962-ben aquakenbrückiArtland középiskolában érettségizett. Ezután aBraunschweigi Műegyetemen tanult fizikát, és 1969-ben itt szerzett diplomát. Tanulmányait ezután aWürzburgi Egyetemen,Gottfried Landwehr vezetése alatt folytatta.PhD tanulmányának a következő volt a címe:A Tellurium galvanomágneses tulajdonságai erős mágneses térben. Ezt 1972-ben megvédte, majd 1978-ban habilitált.
Pályafutása alatt azOxfordi EgyetemClarendon Laboratóriumában és Franciaországban a grenoble-i Mágnesteres Laboratóriumban (ma LMCM) dolgozott. Itt addig folytatta munkáját, míg 1980-ban ki nem nevezték aMüncheni Műegyetem professzorává. 1985. óta ő astuttgartiMax Planck Szilárd Állapot Kutatási Központjának az egyik igazgatója.[5]
Avon Klitzing-állandó,RK =h/e2 = |25812,807557(18)Ω róla lett elnevezve, és ezzel állítanak emléket annak, hogy felfedezte a kvantum Hall-effektust. Ezen kívül szerepel aNational Institute of Standards and TechnologyÁllandók, Egységek és Bizonytalanságok Jegyzékében. Az állandó reciproka megegyezik a kvantumos vezetőképesség értékének felével.[6]
Klitzing 2015-ös kutatásainak középpontjában az alacsony dimenziójú elektronrendszerek tulajdonságai állnak, melyek alacsonyhőmérsékleten és nagymágneses térben jellemzőek rájuk.