A fost stră-nepotul lui Luitgard, una dintre fiicele luiOtto cel Mare. Tatăl său a murit foarte tânăr iar Conrad a avut o copilărie foarte săracă pentru statutul său, fiind crescut de episcopii de Worms. Aceasta a făcut ca el să devină respectat pentru prudența și fermitatea deciziilor sale. La moartea luiHenric al II-lea, a fost ales Rege al Germaniei de către adunarea electoare princiară de laKamba, fiind încoronat laMainz pe data de8 septembrie. Acesta era considerat după standardele vremii ca o alegere prudentă datorită vârstei sale respectabile, 34 de ani.
În 1025, episcopii italieni îi recunosc autoritatea însă principii laici încearcă numirea luiWilliam al V-lea de Aquitania ca rege. În 1026, Conrad ajunge laMilan unde este încoronat Rege al Italiei. După ce a înnăbușit orașele rebele, ajunge laRoma, unde este încoronat Împărat în ziua dePaște din1027 de cătrePapa Ioan al XIX-lea.
În 1028, îl încoronează pe fiul săuHenric ca Rege al Germaniei laAachen, care avea să devină unul dintre cei mai importanți consilieri ai tatălui său. În1032,Rudolf al III-lea de Burgundia moare lăsându-i lui Conrad moștenire regatul său. Acesta devine cel de-al treilea regat din cadrul Sfântului Imperiu, fiind cunoscut, până în 1378 (când este incorporat înRegatul Franței), ca șiRegatul de la Arles. Acest regat nu includeaDucatul Burgundia din nord, ce era condus de o ramură minoră a casei regale franceze.
În1038, Conrad al II-lea participă la o campanie în Italia împotriva luiPandulf al IV-lea de Capua iar la întoarcere armata sa este cuprinsă de o epidemie din care regele scapă nevătămat. În același an, Conrad al II-lea ține o serie de consilii prin care îl numește peHenric și Rege de Burgundia. În1039, Conrad al II-lea se îmbolnăvește și moare laUtrecht. Este înmormântat laSpeyer.