Po powrocie do Stanów zamieszkał wraz z innymi początkującymi aktorami (takimi jakDustin Hoffman,Gene Hackman iJames Caan) w wynajętym mieszkaniu wNowym Jorku. Zimą 1955 studiował w nowojorskiej The Neighborhood Playhouse School of the Theatre[7].
Początkowo występował w teatrze. W 1952 debiutował w Gateway Theatre wBellport w roli pilota w sztuceLaughter In The Stars, będącym adaptacjąMałego Księcia. W 1957 był w obsadzie spektakluHortona FooteRozmowy po północy (The Midnight Caller)[8]. W 1958 naoff-Broadwayu wystąpił jako Frank Gardner w przedstawieniuGeorge’a Bernarda ShawaProfesja pani Warren. W 1966 trafił naBroadway jako Harry Roat, Jr. w sztuceDoczekać zmroku w Ethel Barrymore Theatre. Choć jego role były dobrze oceniane przez krytykę, nie odnosił sukcesów, dlatego musiał jakiś czas zarabiać na chleb, m.in. jako pracownik poczty i kierowca.
Po raz pierwszy był obecny na ekranie jako Boo Radley w dramacieRoberta MulliganaZabić drozda (1962)[9]. Jego rola spotkała się z dużym uznaniem krytyków i otworzyła mu drogę do kariery. Wcielał się przeważnie w silnych mężczyzn - wojskowych, prawników oraz ludzi interesu. Do tych najbardziej pamiętnych należą role w filmie kryminalnymPetera YatesaBullitt (1968) zeSteve’em McQueenem w roli głównej, kreacjaToma Hagena,consigliere rodziny Corleone wOjcu chrzestnym (1972). Po roli szalonego podpułkownika Billa Kilgore’a zCzasu apokalipsy (1979)Francisa Forda Coppoli został wpisany doKsięgi rekordów Guinnessa jako najbardziej wszechstronny aktor na świecie, a jego kwestia z tego filmu:„kocham zapach napalmu o poranku” przeszła do historii kina.
OtrzymałOscara dla najlepszego aktora pierwszoplanowego za rolę piosenkarza country Maca Sledge’a w ciepłym, rodzinnym dramacieBruce’a BeresfordaPod czułą kontrolą (1983). Zajmował się także reżyserią i pisaniem scenariuszy, a nawet produkcją filmów, m.in.Apostoła (1997), w którym zagrał kaznodzieję i dreszczowcaAssassination Tango (2002), gdzie wcielił się w płatnego mordercę.