AVirginia állambeli Port Conwayben született1751.március 16-án. (Az akkor érvényben lévő Juliánus-naptár szerint március 5-e.) Ősei még a17. században hagyták el Angliát. Apja, a vele azonos nevű James Madison ültetvényes és rabszolgatartó volt, anyja Eleanor Rose Conway. 12 testvére közül ő volt a legidősebb, de testvérei közül csak hét érte meg a felnőttkort. Tanulmányait aPrincetoni Egyetemen (akkori nevén College ofNew Jersey) végezte, ahol 13 hónap alatt sajátította el a négy év anyagát. Itt ismerkedett meg a felvilágosodás műveivel és ideológiájával.
Madison már1776., vagyis a függetlenség kikiáltásának évétől avirginiai törvényhozásban tevékenykedett. Elvetette a „vallási toleranciát”, helyette a teljesen szabad vallásgyakorlást részesítette előnyben.Virginia állam az ő javaslatára kérte fel a másik tizenkét államot, hogy küldjenek képviselőket aphiladelphiai Alkotmányozó Konvencióba (1787). Vezető szerepet játszott a máig is érvényben lévőamerikai alkotmány megszerkesztésében.
Azalkotmány ratifikálása után republikánus ideológiáját fejtette ki többNew York-i lapban. Nézete szerint nagy területű államban is létrejöhetköztársaság, cáfolva ezzel kora közkeletű nézetét. Madison szerint az olyanpolitikai elvek, mint a hatalom megosztása, a törvényhozás korlátjai, a képviseleti kormányzás vagy a független bíróságok a nagy államok számára is lehetővé teszik ezt.
Az1789-ben megalakult újkongresszus egyik legtekintélyesebb képviselőjeként fontos szerepet játszott az adóügyi törvények, valamint az első tíz alkotmánykiegészítés megalkotásában. Ezek az alkotmánykiegészítések biztosították a sajtó-, gyülekezési-, szólás- és vallásszabadságot az amerikai állampolgároknak. Huszonegy év törvényhozói gyakorlat után,1791-ben fel akart hagyni a politizálással és visszavonult a családi dohányültetvényre. LevelezettThomas Jeffersonnal,Republikánus Pártbeli barátjával. A politikától nem tudott eltávolodni és amikorThomas Jeffersont elnökké választották, felkérte James Madisont a külügyminiszteri feladatok ellátására.1801-től1809-igaz elnök jobbkeze volt és Jefferson mindvégig az utódjának tekintette. Segítségével az1808-as elnökválasztáskor Madison 122elektori szavazatot kapott, míg kihívói, Charles Cotesworth Pinckney federalista jelölt 47 szavazatot, George Clinton republikánus jelölt 6elektori szavazatot.
Az új elnök messze nem volt olyan karizmatikus és erélyes vezető, mint mentora és elődje. Már csak azért is, mert korábbi nézeteihez hűen úgy vélekedett, hogy a törvényhozó szervnek kell kormányozni az országot. Sokáig fontolgatott mindent és ezért kortársai határozatlannak és gyengének tartották. Felesége, Dolley Madison sokkal népszerűbb volt nála és ő tekinthető az első igaziFirst Ladynek, noha csak1877-ben vetették papírra először ezt a kifejezést. Elődjéhez hasonlóan Madison is megpróbálta békés eszközökkel rábírni az egymással háborúzó franciákat és briteket az amerikai kereskedelem semlegességének tiszteletben tartására, hogy hagyjanak fel az amerikai hajók zaklatásával. A terv nem járt sikerrel, mertI. Napóleon francia császár cselén megbukott az elképzelés. Eközben északon fellázadtak azindiánok, míg délen afloridaiak fellázadtak a spanyolok ellen és kérték államuk annektálását. Madison úgy érezte, hogy mindent megtett a konfliktusok békés rendezésére, de semmit nem ért el.1812-ben akongresszus nyomására hadat üzentekNagy-Britanniának, holott diplomáciai eszközökkel már sikerült elérni, hogy a britparlament elfogadjon egy törvényt, amely szerint felhagynak az amerikaiak bojkottjával. A hír azonban késett, és kitört abrit–amerikai háború.
1812-ben újabb elnökválasztás következett, amikor Madison 128elektori szavazatot kapott, kihívója, a federalisták által támogatott DeWitt Clinton 89-et. Eközben a britek elleni háborúban kevésbé volt sikeres. Hadiflottával nem rendelkezett és csak 6700 katonája állt fegyverben, és eközben az államkassza pedig üres volt. A kisebb győzelmek után jelentős fordulat következett be. Véget ért aNapóleon elleni háborúEurópában és Nagy-Britannia harcedzett, teljes hadseregét az USA-ra zúdította.New Yorkot ugyan sikerült megvédeni, de1814.augusztus 24-én az elnöknek menekülnie kellettWashingtonból. Nem sokkal később a britek bevonultak a fővárosba, az összes középületet felgyújtották, így az elnöki rezidenciát is. A város visszafoglalása után csak1817-re sikerült felújítani az elnöki rezidenciát amit már ez előtt isFehér Ház-ként emlegettek. A brit-amerikai háború patthelyzettel ért véget agenti békeszerződés értelmében (1814.december 24.).
A háború alatt megerősödött a nemzeti egység, és az európai riválisoktól megszabadított ipar fejlődésnek indult. A republikánusok eközben rájöttek, micsoda jelentőséggel bírnak az adók, az állandó hadsereg és a hadiflotta. Madison elnökségének utolsó két éve békében telt. Megemelkedett adohány ára, amely által nagyobb jövedelem folyt be. Iparvédelmi vámokat vezettek be és újra létrehozták az Egyesült Államok Bankját 20 év időtartamra. Eközben két állammal bővült az unió:Louisiana (1812) ésIndiana (1816) csatlakozott.
Hivatali idejének letelte után James Madison elhagytaWashingtont. Népszerűsége magasabb volt, mint elnöksége kezdetén. Visszahúzódottvirginiai birtokára, Montpelier elnevezésű ültetvényére, ahol gazdálkodott és politikai értekezést írt. SegítettThomas Jeffersonnak a Virginia Egyetem megalapításában, amelynek1826-tól,Jefferson halála után rektora lett.
Az1830-as évek közepén már csak Madison volt életben azAlapító Atyák közül. Mivel a függetlenség kikiáltásának napján,július 4-én halt megAdams,Jefferson ésMonroe is, egyik barátja arra kérte Madisont, hogy próbálja meghosszabbítani életét a függetlenség 60. évfordulójáig, milyen szép lenne, ha ő is e jeles napon halna meg. Hat nappal korábban,1836.június 28-án családi birtokán halt meg. Ellentmondásos politikai pályája miatt ragasztották ráAz alkotmány atyja (Father of Constitution) ésA nagy kis Madison (The Great Little Madison) neveket.
