Kaltenbrunner je rođen uRied im Innkreisu, gradiću uAustriji, kao sin odvjetnika. Obrazovanje je stekao u državnoj općoj gimnaziji uLinzu, te nasveučilištu uGrazu. Krenuo je očevim stopama, te je1926. i sam postao odvjetnik. Ipak, na tom poslu se kratko zadržao (1926. –1928.), i to po austrijskim gradovimaSalzburgu i Linzu.
Pridružio seNacističkoj stranci iSS-u uAustriji1932., a imao je ulogu predstavnika okruga (njem.Gauredner), te glavnog savjetnika VIII. SS Divizije. U siječnju1934. kratko je zadržan uzatvoru s ostalimnacistima. Kasnije te godine je opet zatvoren pod sumnjom u veleizdaju i umiješanost u ubojstvo tadašnjegpremijera Austrije,Engelberta Dollfussa, koji je bio zaslužan za prvo Kaltenbrunnerovo zatvaranje. No, većina optužbi je otpala, te je Kaltenbrunner proveo samo šest mjeseci zbog urote.
Sredinom1935. Kaltenbrunner je postao vođa austrijskog SS-a. Zbog velike pomoći u provođenjuAnschlussa, Hitler ga je promaknuo u vođu austrijskog dijela SS-a (njem.Brigadeführer), na dan kada je Anschluss uspješno izveden.11. rujna1938. postao je vođa paravojnih jedinica (pogledajte ivideo o Kaltenbrunnerovom nastupu u Beču 1939.). Također je bio članReichstaga od1938. U travnju1941. promaknut je na čin Glavnog policijskog generala. Nakon ubojstvaReinharda Heydricha u Pragu 1942. zamijenio ga je na čeluRSHA.
Što se kraj rata više bližio, to je Kaltenbrunnerova pozicija bila bliže samom vrhu, što se najviše vidjelo kada je izbio napad naHitlera20. srpnja1944. Govorilo se da se Kaltenbrunnera boji čak iHeinrich Himmler, a postojale su glasine da je upravo on odgovoran zaEichmannov neuspjeh dobivanja čina pukovnikaSS-a.
9. prosinca Kaltenbrunner dobivaŽeljezni križ. U to vrijeme, Kaltenbrunnerove titule su bile Vođa elitne grupe SS-a (njem.Obergruppenführer), General policije i Šef tajne policije. Također mu je dodijeljenBlutorden (hrv.Red krvi).
NaNürnberškom sudu je optužen za udruživanje s namjerom izvršavanja djela protiv svjetskog mira, te zločina protiv humanosti. Najzapaženiji svjedok je bioRudolf Höss, zapovjednikkoncentracijskog logora uAuschwitzu. Kaltenbrunnerova kontrola snaga SS-a značile su da je izravno odgovoran za sljedeće optužbe:
Proglašen je krivim za ratne zločine i zločine protiv humanosti, te potomosuđen na smrt. Pogubljen je oko 1.40 ujutro dne16. listopada1946. Posljednje riječi su mu bile: "Sretno,Njemačko!"