Wheeler opiskeli oikeustiedettä Vermontin yliopistossa Burlingtonissa, mutta ei voinut suorittaa opintoja loppuun talousvaikeuksien takia. Wheeler istuiNew Yorkin osavaltion edustajainhuoneessa vuosina 1850–1851 ja senaatissa 1858–1860.Yhdysvaltain edustajainhuoneessa hän toimi 1861–1863 ja 1869–1877. Kun kongressi päätti vuonna 1873 korottaa omaa palkkaansa takautuvasti, Wheeler äänesti päätöstä vastaan ja jopa palautti päätöksen tuottamat palkankorotukset valtiolle.
Wheeler valittiin vuonna 1876republikaanien varapresidenttiehdokkaaksi. Vaalikampanja oli voittoisa, ja hän toimiRutherford B. Hayesin varapresidenttinä kaudella 1877–1881.