Powells foreldre hadde innvandret til USA fraJamaica. Han tok eksamen igeologi vedCity College of New York i 1958. I sin collegetid utdannet han seg til reserveoffiser.
I 1963 stoppet han på en fastfoodkafe i Georgia for å kjøpe en hamburger. Betjentingen spurte om han var fra Puerto Rico eller kanskje afrikansk student. Nei, svarte Powell, «jeg er en neger (engelsk:negro), jeg er amerikansk og jeg er offiser i hæren». Betjeningen ba ham gå til baksiden for å få en hamburger der (svarte ble nektet servering innendørs).[17]
Etter tjeneste i Vietnam i 1963 var Powell blant annet stasjonert vedFort Benning i delstatenGeorgia. Der opplevde han personlig hvordan raseskillet fungerte i praksis, blant annet ved at han, med kapteins grad, ble nektet servering i en drive in hamburgerkafe.[18]
Powell var yrkesmilitær i 35 år, og ble forfremmet til firestjerners general.
Samtidig som han tjenestegjorde som general, var Powell nasjonal sikkerhetsrådgiver (National Security Advisor) i perioden 1987–1989. Han var formann for den rådgivende militære gruppen Joint Chiefs of Staff (Chairman of the Joint Chiefs of Staff), den høyeste militære stillingen i det amerikanske militæret, i perioden 1989–1993.GulfkrigensOperation Desert Storm var dermed en av de militære operasjonene han var øverste militære ansvarshavende for. Han var den første afroamerikaneren som var medlem av Joint Chiefs of Staff.
Powell tjenestegjorde som utenriksminister under president Bush i perioden 20. januar 2001 til 28. januar 2005. Politisk var han mer moderat enn de fleste i Bush-regjeringen. Det var, ifølgeThe Guardian, blant andre Powell som rådet George W. Bush til å opprette PEPFAR (the President's Emergency Plan for AIDS Relief) som i perioden 2003–2008 reddet minst fem millioner liv i Afrika sør for Sahara.[19][20]
Den 15. november 2004 meldte Powell at han stilte sin stilling som utenriksminister til disposisjon. Han ble to måneder etter etterfulgt avCondoleezza Rice.
Under presidentvalgkampen i 2008 støttet han demokratenBarack Obama, og ikke sin partifelleJohn McCain.
Den 18. oktober 2021 døde Powell påWalter Reed National Military Medical Center i Bethesda i Maryland på grunn av komplikasjoner utløst avcovid-19., i en alder av 84 år.[21] Han var fullvaksinert.[22] Det ble etter hans død rapportert at Powell tidligere var blitt diagnostisert medbenmargskreft;[23] den klarte legene å håndtere, men benmargskreft svekket hans immunsystem.