W 1980 ukończył historię naVrije Universiteit Amsterdam, a w 1982 studia prawnicze na tej uczelni. Doktoryzował się w zakresie prawa w 1992. W latach 1982–1984 pracował jako prawnik w radzie holenderskich uniwersytetów (Academische Raad). Zaangażował się w działalność polityczną w ramach Apelu Chrześcijańsko-Demokratycznego. Od 1992 do 1998 był członkiem radu miejskiej wAmsterdamie, od 1984 do 1998 wchodził jednocześnie w skład zarządu partyjnegothink tanku Wetenschappelijk Instituut voor het CDA. W 1993 został także nauczycielem akademickim na macierzystej uczelni.
W 1998 po raz pierwszy uzyskał mandat posła do Tweede Kamer. Ponownie do niższej izbyStanów Generalnych wybierany w 2002, 2003 i 2006. W 2001 został przewodniczącym frakcji poselskiej CDA, a także liderem politycznym tego ugrupowania[1].
W wyborach w2002,2003 i2006 kierowany przez niego Apel Chrześcijańsko-Demokratyczny zajmował każdorazowo pierwsze miejsce, co pozwoliło Janowi Peterowi Balkenende obejmować urząd premiera i tworzyć kolejne rządy. Pierwszy z nich powstał 22 lipca 2002, koalicję zawiązały CDA,Lista Pima Fortuyna (LPF) iPartia Ludowa na rzecz Wolności i Demokracji (VVD). Problemy z populistyczną LPF doprowadziły do przedterminowych wyborów po niespełna roku, 27 maja 2003 lider CDA stanął na czele drugiego rządu współtworzonego również przez VVD oraz przezDemokratów 66 (D66). 30 czerwca 2006 podał się do dymisji z powodu rozpadu koalicji rządowej, a 7 lipca tegoż roku powołał swój trzeci, tym razem mniejszościowy, rząd z udziałem CDA i VVD. Po przedterminowych wyborach w tym samym roku stanął na czele koalicji CDA,Partii Pracy (PvdA) iChristenUnie (CU), rozpoczynając urzędowanie 22 lutego 2007. 20 lutego 2010 w związku z kryzysem rządowym, spowodowanym udziałem wojska holenderskiego w misji wAfganistanie, PvdA wystąpiła z koalicji[2]. Stał na czele rządu mniejszościowego do czasu przedterminowychwyborów parlamentarnych w tym samym roku, kończąc urzędowanie 14 października 2010, kiedy to nowym premierem zostałMark Rutte z VVD.
W wyborach w 2010 Jan Peter Balkenende ponownie otwierał listę wyborczą CDA, odmówił jednak objęcia mandatu, zrezygnował z przywództwa w partii i zadeklarował wycofanie się z aktywności politycznej[3]. W 2010 został profesorem naUniwersytecie Erazma w Rotterdamie, w 2011 partnerem w przedsiębiorstwie doradczymErnst & Young.
Jego ojciec Jan Pieter Balkenende był kupcem zbożowym, zaś matka Thona Johanna Sandee pracowała jako nauczycielka. Jego żoną jest Bianca Hoogendijk, ma córkę Amelie. Ze względu na fizyczne podobieństwo do bohatera serii powieściJ.K. Rowling był nazywanyHarrym Potterem[5].