Tema isa Robert Walpole oliviig ja kuulus parlamendi alamkotta. Peres oli kokku 17 last, kellest 8 surid lapsena. 1690. aastal astus WalpoleEton College'isse ja 1696. aastal Cambridge'iKing's College'isse. 1698. aastal suri tema ainus veel elanud vanem vend ning ta pöördus koju, et isale abiks olla. Ta oli kavatsenud saada vaimulikuks, kuid vanima pojana pidi nüüd hakkama hoolt kandma perekonna valduste eest. 30. juulil 1700 abiellus ta Catherine Shorteriga. Neil sündis kaks tütart ja neli poega:
Catherine suri 1737. aastal. Pärast seda, aga enne 3. märtsi 1738 abiellus Walpole oma armukese Maria Skerrittiga, kellega ta oli avalikult koos elanud juba umbes 1724. aastast. Neil oli enne abiellumist sündinud ka üks tütar.
