Studiował w konserwatoriach Parmy iMediolanu grę nawiolonczeli. Karierę rozpoczynał wBrazylii jako wiolonczelista w zespole wędrownejopery. Zadebiutował jako dyrygent 26 czerwca 1886 roku wRio de Janeiro, gdy zespół odmówił występu pod kierownictwem dotychczasowego dyrygenta; młody Toscanini poprowadził wtedy z pamięciAidę, co spotkało się dużym uznaniem publiczności.
Po powrocie, za namową przyjaciela, podjął próbę kontynuowania kariery dyrygenta i przez najbliższe lata prowadził dorywczo (nie otrzymując nigdy stałej posady) przedstawienia operowe w różnych włoskich teatrach, szybko zyskując sobie reputację wybitnego, ale i kontrowersyjnego dyrygenta – z początku wizja Toscaniniego dotycząca zmian we włoskim świecie muzycznym, systemie w jakim działały teatry i orkiestry oraz relacji publiczność-wykonawcy spotkała się z oporem i niezrozumieniem.
26 grudnia 1898 wystąpił po raz pierwszy na deskachLa Scali, gdzie pracował przez kilka lat. Kierownictwo muzyczneLa Scali Toscanini obejmował w latach 1898–1907 i 1920–1929. Największymi jego osiągnięciami były przedstawieniaFalstaffaVerdiego iTurandotPucciniego (przerwany w miejscu, w którym urywa sięrękopis). Był propagatorem muzyki ówcześnie współczesnej, wiele słynnych później dzieł było wykonanych weWłoszech pod jego dyrekcją po raz pierwszy, m.in.MorzeDebussy’ego czyPietruszkaStrawinskiego.
Następnie przeniósł się doMetropolitan Opera w Nowym Jorku, a potem krążył między Mediolanem a Nowym Jorkiem oraz występował w wielu innych miejscach. W 1936 założył Orkiestrę Symfoniczną Radia Nowojorskiego i uczynił z niej jeden z najznakomitszych zespołów orkiestrowych świata.
W 1928 na koncercie wBolonii Toscanini odmówił dyrygowania faszystowskim hymnem i wkrótce po tym opuścił Włochy. Zrezygnował z występów wojczyźnie, a następnie zaprzestał występów wBayreuth iSalzburgu. W latach 1928–1936 był dyrektorem muzycznymFilharmonii Nowojorskiej[2]. W czasieII wojny światowej przebywał w USA dając wiele koncertów dlażołnierzy. Do Mediolanu przyjechał na kilka miesięcy dopiero w 1946, by za pomocą swych występów zebrać fundusze na odbudowę uszkodzonej podczas wojny La Scali.
W późniejszym okresie życia wszelkie koncerty prowadził z pamięci ze względu na bardzo słabywzrok. W 1954, gdy miał 87 lat, po incydencie, gdy zawiodła go pamięć podczas koncertu, wycofał się z czynnego życia koncertowego.
Ostatnie lata życia spędził w Nowym Jorku.
Sława Toscaniniego była wyjątkowa. Był on pierwszym nie-niemieckim dyrygentem zaproszonym do Bayreuth nafestiwale wagnerowskich oper (1930 i 1931). On też podniósł bardzo znaczenie festiwali muzycznych wSalzburgu i wLucernie (stworzył tam świetne kreacje takich oper, jakFidelioBeethovena,FalstaffVerdiego,Czarodziejski fletMozarta,TannhäuserWagnera i in.). Prócz oper i klasycznej muzyki symfonicznej, które w jego repertuarze zajmowały najwięcej miejsca Toscanini szczególną czcią otaczałBrahmsa. Wykonywał też utwory nowsze, do wczesnych utworówStrawinskiego włącznie; pomijał natomiast w swym repertuarze muzykęBacha iHändla.
Sztukę odtwórczą Toscaniniego cechował przede wszystkim nadzwyczajny pietyzm dla intencji kompozytora. Unikał on wszelkich osobistych koncepcji interpretacyjnych. Wykonania jego odznaczały się natomiast do najwyższych granic posuniętą precyzją. Dotyczyło to zarówno wyjątkowego poczucia rytmu i jego wartości wyrazowej, umiejętności zespolenia orkiestry – do najdrobniejszych szczegółów – w zupełnie jednolity organizm dźwiękowy, jak i najsubtelniejszego cyzelowania brzmienia. Toscanini miał dar odnajdywania najbardziej istotnych i właściwych proporcji w regulowaniu brzmienia różnych instrumentów, planów dźwiękowych, czy nawet poszczególnych dźwięków składających się naakord. Konsekwencja narastania czy stopniowego opadania siły brzmienia miała u niego cechy elektronowej niemal precyzji. Potrafił też osiągnąć rzadko spotykaną śpiewność brzmienia nawet w najgłośniejszych partiach. Miał rzadki zmysł dobierania najbardziej właściwegotempa i posiadał wysokie poczucie architektonicznej logiki utworu. Opera była np. dla niego jednolitym organizmem, który rozwijał z niesłychaną konsekwencją od początku do końca dzieła; dlatego, mimo zatargów ze sławnymiprimadonnami i gwiazdorami, zniósł zwyczaj bisowania popularnycharii w trakcie opery.
Dla ogólnego klimatu wykonań Toscaniniego charakterystyczne jest to, że natężenie emocjonalne nigdy nie wymykało się z precyzyjnej i rygorystycznej kontroli intelektu tego artysty.
We wcześniejszym okresie swej kariery artysta odmawiał nagrywaniapłyt. Później z niechęcią dawał się nakłonić do tego, lecz mimo to pozostał pokaźny zbiór jego nagrań.