Má dvanáct olympijských medailí, z toho čtyři zlaté.[1] Naletních olympijských hrách 1996 vyhrál soutěž družstev a přeskok, byl druhý ve víceboji a třetí v prostných, na hrazdě a koni našíř. NaLetních olympijských hrách 2000 vyhrál víceboj a hrazdu, druhý byl v prostných a třetí v týmové soutěži, bradlech a koni našíř. NaLetních olympijských hrách 2004 skončil s ruským družstvem šestý, v individuálních soutěžích postoupil do finále pouze na hrazdě. Předvedl mimořádně náročnou sestavu, zaváhal však při dopadu a rozhodčí ho zařadili na celkové páté místo. To vzbudilo hlasité protesty diváků, které musel nakonec uklidňovat sám Němov.[2] Skandál vedl ke změně pravidel pro hodnocení gymnastických soutěží.