Calhoun werd geboren als het vierde kind vanIerse immigranten. Toen hij 17 jaar was, verliet hij de schoolbanken om op de familieboerderij aan de slag te gaan omdat zijn vader ziek was geworden. Later vervolgde hij zijn studie aanYale. In 1807 werd hij toegelaten tot het beroep van advocaat. Zijn politieke carrière begon in 1808 met de verkiezing in het Huis van Afgevaardigden van de staatSouth Carolina. Ook in zijn privéleven werkte de politiek door. Drie jaar later trouwde hij namelijk met Floride Bonneau Colhoun, dochter van de voormaligesenatorJohn Colhoun. Het stel kreeg tien kinderen, van wie er drie op jonge leeftijd overleden.
Zijn entree in de nationale politiek maakte Calhoun in 1810, toen hij gekozen werd in hetHuis van Afgevaardigden. Vanaf het begin was hij een van de leiders van de "oorlogshaviken", samen metvoorzitter van het Huis van AfgevaardigdenHenry Clay en de AfgevaardigdenWilliam Lowndes enLangdon Cheves. Een groot aantal Amerikanen wildeCanada veroveren op, of zoals zij het zagen bevrijden van,Groot-Brittannië. Calhoun was voorzitter van het Comité van Buitenlandse Zaken van het Huis van Afgevaardigden. Dat comité riep in juni 1812 op de Britten de oorlog te verklaren. Dit gebeurde inderdaad, maar de oorlog - deOorlog van 1812 - verliep desastreus voor de Amerikanen. Hetleger en demarine waren niet voorbereid op een oorlog. De belangrijkste havensteden werden door deBritse marine geblokkeerd, de invasie in Canada liep uit op een fiasco. In de nacht van 24 op 25 augustus 1814 brandden de Britten zelfs hetWitte Huis inWashington D.C. plat. In 1814 werd de oorlog beëindigd met het tekenen van deVrede van Gent.
Na de oorlog nam Calhoun samen met Clay het initiatief tot een aantal vergaande maatregelen waardoor de macht van de federale overheid versterkt zou worden. Calhoun wilde dat de Verenigde Staten klaar waren voor een eventuele volgende oorlog. Oorspronkelijk lag er veel macht bij de individuele staten. Zo kwam het meeste belastinggeld bij hen terecht. Calhoun was voorstander van hoge importtarieven om zo een eigen industrie op te bouwen, een nationale bank en verbeterde infrastructuur door de aanleg van havens en kanalen.
PresidentJames Monroe nam Calhoun in 1817 als minister van Oorlog op in zijn kabinet. Hij had de taak om de marine te hervormen, waarbij onder andere stoomschepen in gebruik werden genomen. Verder zorgde Calhoun voor de opbouw van eenstaand leger van een respectabele omvang. Het Congres wenste dat ook omdat er mogelijk een oorlog dreigde metSpanje ofGroot-Brittannië vanwege de Amerikaanse belangen met betrekking totFlorida. Na de min of meer gedwongen overdracht nam de roep om een groot leger weer af. Calhoun kon niet verhinderen dat er weer gesneden werd in het federale defensiebudget.
Als minister van Oorlog was Calhoun ook verantwoordelijk voor alle indianengerelateerd zaken. Om daar beter vorm aan te geven richtte hij hetBureau of Indian Affairs op.
Calhoun stelde zich in 1824 aanvankelijk kandidaat voor het presidentschap, maar toen de delegatie van South Carolina hem niet steunde zette hij met succes zijn kaarten op het vicepresidentschap. Hij diende twee termijnen als vicepresident, in de eerste termijn onderJohn Quincy Adams en in de tweede termijn onderAndrew Jackson. Daarmee is hij, samen metGeorge Clinton, de enige die als vicepresident onder twee verschillende presidenten heeft gediend.
President Jackson kon niet goed opschieten met Calhoun. De twee botsten over de verhoging van de importtarieven. De vicepresident was daar tegenstander omdatNew England en verschillende zuidelijke staten, waaronder Calhouns thuisstaatSouth Carolina daar hard door getroffen werden. Jackson was juist een voorstander van de maatregelen. Zijn vicepresident kondigde aan dat hij in de Senaat tegen zou stemmen wanneer de stemmen zouden staken. Het voorstel werd echter nipt aangenomen. Calhoun stelde toen dat voor een individuele staat, als laatste redmiddel, mogelijk was om uit de Unie te stappen, oftewel geen onderdeel meer uit te maken van de Verenigde Staten.
In mei 1830 ontdekte Jackson dat Calhoun in het verleden als minister van Oorlog president Monroe had verzocht om hem een reprimande te geven. Als generaal was JacksonSpaans Florida binnengevallen zonder de expliciete toestemming van Calhoun of Monroe. De vrouw van Calhoun hielp ook niet mee om de sfeer in het kabinet te verbeteren. Minister van OorlogJohn Henry Eaton trouwde met een vrouw die pas net weduwe was geworden. Haar man zou zelfmoord hebben gepleegd omdat zijn vrouw een affaire had met Eaton. Floride Calhoun stelde dit gedrag samen met een aantal andere kabinetsvrouwen aan de kaak, Jackson stond echter achter zijn minister van Oorlog en zag het als politieke zet van Calhoun om zijn gezag te ondermijnen. Hij gebruikte het schandaal om van verschillende kabinetsleden af te komen die zijn vicepresident steunden. In de rest van zijn periode als vicepresident had Calhoun weinig meer te zeggen. De breuk tussen hem en Jackson was de reden om zich verkiesbaar te stellen voor de Senaat. Calhoun geloofde dat hij als senator meer kon betekenen dan als vicepresident. Hij werd gekozen en stapte in december 1832 op als vicepresident. Hij was daarmee de eerste vicepresident die zelf opstapte.
Verschillende tegenstanders van president Jackson verenigden zich in deWhig-partij. Calhoun koos aanvankelijk hun zijde totdat hij in conflict kwam met senatorDaniel Webster die tegen de slavernij was. Calhoun was de belangrijkste woordvoerder in de Senaat van de beweging die voor het behoud van de slavernij was. Hij was tegen elke poging tot het tegengaan of afschaffen van slavernij. Als senator was hij voorstander van deFugitive Slave Law waarin stond opgenomen dat de lokale autoriteiten in de vrije staten er alles aan moesten doen om ontsnapte slaven terug te brengen naar hun oorspronkelijke eigenaren. Waar veel zuidelijke politici over slavernij spraken als een “noodzakelijk kwaad”, omschreef Calhoun het in 1837 in een beroemd geworden speech op de Senaatsvloers als "positief goed". Hij vond het blanke ras zowel in intellectueel opzicht als fysiek superieur aan de donkere Afrikanen. Tegelijkertijd was er bijna geen land waar de arbeider (oftewel slaaf) zoveel vrijheid zou hebben het werk zelf in te richten en waar de werkgever zoveel aandacht voor de gezondheid of ouderdomsproblemen van die arbeider.
Calhoun onderbrak zijn periode in de Senaat in 1844 voor een jaar om onder presidentJohn Tyler aan de slag te gaan als minister van Buitenlandse Zaken. Zijn voorgangerAbel Upshur was omgekomen toen een kanon explodeerde op het slagschipUSS Princeton. Calhoun maakte een einde aan een grensconflict met Groot-Brittannië over het precieze verloop van de grens tussen Canada en de staatOregon. Calhoun besloot dat de grens precies langs de 49e breedtegraad zou lopen en voorkwam op die manier een oorlog.
President Tyler en Calhoun waren beide voorstander van de annexatie van de onafhankelijkeRepubliek Texas die lid wilde worden van de Unie. In Texas was slavernij toegestaan. Daarom wilde de noordelijke staten niet dat Texas tot de VS zou toetreden. In de Senaat wisten de voorstanders niet de vereiste tweederdemeerderheid te behalen. Calhoun stelde vervolgens een gemeenschappelijke resolutie op die werd voorgelegd aan het Congres (Huis van Afgevaardigden en Senaat). Hiervoor was slechts een meerderheid van de helft plus een voor vereist. Deze resolutie werd aangenomen waarna de weg vrij was voor Texas om zich bij de Unie te voegen. Als gevolg daarvan verklaardeMexico in 1846 de oorlog aan de Verenigde Staten.
In zijn tweede termijn als senator bleef Calhoun waarschuwen voor de invloed van de noordelijke staten. Zo droeg hij bij aan de toenemende kloof tussen het noorden en zuiden van de Verenigde Staten, wat uiteindelijk zou leiden tot deAmerikaanse Burgeroorlog in 1861. Hoewel hij op dat moment al lichamelijk te zwak was om veel verzet te bieden keerde hij zich ook tegen hetCompromis van 1850. Dit was een serie van vijf wetten die betrekking hadden op de slavernij en de territoria die tijdens deMexicaans-Amerikaanse Oorlog in Amerikaanse handen waren gekomen.
Het doel van het Compromis was om de balans te bewaren tussen de belangen van de zuidelijke, slavenhoudende, staten en de "vrije" staten.
Calhoun overleed op 31 maart 1850 aan de gevolgen vantuberculose. Hij werd begraven inCharleston, South Carolina. Tijdens de Burgeroorlog waren vrienden van hem bang voor grafschenders. Zij groeven zijn kist daarom op en verborgen haar in een kerk voordat hij in een anoniem graf werd begraven. In 1871 keerde het lichaam terug naar het oorspronkelijke graf.
