Van Cleef begynte arbeidslivet som revisor. Han tjenestegjorde iUnited States Navy underandre verdenskrig, og etter krigen begynte han å spille amatørteater. Hans første rolle var iSheriffen (1952) hvor hans spesielle utseende, med skarp nese og smale øyne, gav ham et minneverdig ansikt som førte til at han fikk medvirke i et stort antallwesternfilmer, som regel i skurkeroller. Resten av tiåret og fram til begynnelsen av 1960-tallet spilte han for det meste biroller, mange av dem i vel ansette filmer somJohn Sturges'Oppgjør i O.K. Corral (1957),Budd BoettichersRi ensom (1959) ogJohn FordsMannen som skjøt Liberty Valance (1962).
I 1965 fikk Van Cleef rollen som den tøffe men rettferdige oberst Mortimer iSergio LeonesFor en neve dollar mer, hvor han spilte motClint Eastwood i Italia. Dette var Van Cleefs store internasjonale gjennombrudd, og han vendte tilbake til Europa for å spille i mangespaghettiwesterns i løpet av 1960- og 1970-tallet.
Van Cleef personifiserte den ultimate western-dusørjegeren, og var av den grunn inspirasjonen til mange etterfølgere, bl.a. iLucky Luke-seriealbumetDusørjegeren, hvor rollefiguren Elliot Belt har lånt hans trekk.