Herrmann syntyiNew Yorkissa venäläistaustaiseen perheeseen vuonna 1911. Nuorena hän opiskeli säveltämistä ja orkesterin johtamista muun muassa kuuluisassaJuilliard Schoolissa. Vuonna 1934CBS-yhtiö palkkasi hänet radiokanavalleen säveltäjäksi, sovittajaksi ja kapellimestariksi. Työskennellessään radiossa Herrmann tapasi nuorenOrson Wellesin, ja hän alkoi tehdä musiikkia WellesinMercury Theatren produktioihin. Kun Welles sai mahdollisuuden tehdä oman elokuvanHollywoodissa, avautui myös Herrmannille ura elokuvamusiikin säveltäjänä. Heidän ensimmäinen yhteinen elokuvansa oli kuuluCitizen Kane (1941). Samana vuonna valmistui myösWilliam Dieterlen ohjaamaPiru ja Daniel Webster, josta Herrmann voitti ainoaksi jääneenParhaan musiikin Oscar-palkintonsa. Hän sävelsi musiikin myös toiseen Wellesin ohjaamaan elokuvaanMahtavat Ambersonit (1942) mutta suuttui siitä, ettäRKO Pictures leikkeli vahvasti sekä elokuvaa että sen musiikkia, ja vaati nimensä poistettavaksi filmin tekijätiedoista.
1950-luvulla alkoi Herrmannin uran eittämättä tärkein yhteistyö "jännityksen mestarina" tunnetunAlfred Hitchcockin kanssa. Herrmann sävelsi musiikin yhteensä seitsemään Hitchcockin elokuvaan vuosien 1955 ja 1964 välillä. Näistä kuuluisimpia ovat muun muassaVertigo – punainen kyynel (1958),Vaarallinen romanssi (1959) ja eritotenPsyko (1960), jonka kohdalla on erityisen usein korostettu Herrmannin musiikin osuutta jännityksen luomisessa. Herrmann sävelsi alun perin musiikin myös Hitchcockin vuoden 1966 elokuvaanRevitty esirippu, mutta heille tuli erimielisyyttä sen musiikillisesta tyylistä (Hitchcock olisi halunnut jotain populaarimusiikin tapaista), eivätkä he tämän jälkeen enää työskennelleet yhdessä. Herrmann kuitenkin teki edelleen töitä arvostettujen ohjaajien, kutenFrançois Truffaut’n (mm.Fahrenheit 451, 1966) jaBrian De Palman (mm.Verinen veitsi, 1973), kanssa.
Herrmann teki myös paljon näyttämö-/konserttimusiikkia, joskaan ei enää kovin usein elokuvamusiikkiuransa alettua. Näihin teoksiin kuuluvat esimerkiksi yksisinfonia (1941),oopperaWuthering Heights (1951) jakantaattiMoby Dick (1937). Elokuvamusiikin ohessa Herrmann sävelsi myös musiikkia televisiosarjoihin, joista kuuluisimpia ovat muun muassaLännen tie,Hämärän rajamailla jaAlfred Hitchcock esittää.