La politique italienne de ses prédécesseurs avait laissé l’aristocratie germanique reprendre son pouvoir et son indépendance : en réaction, Conrad soutient les petits féodaux contre les grands et les invite à lui prêter directement hommage, généralisant le principe de l’hérédité des fiefs. Pour faire échec aurégionalisme des duchés nationaux, il fait sombrer l’Allemagne dans l’anarchieféodale au moment où le germanisme recule devant les jeunes nationsslaves. Le centre de gravité de l’empire se déplace vers leRhin (Mayence,Worms etSpire).
Le roiÉtienne Ier revendiquant laBavière pour son filsÉmeric, Conrad attaque laHongrie en. Après l'échec de son expédition, victime de la politique de terre brûlée menée par les Hongrois, Conrad fait la paix avec Étienne au cours de l'été 1031 et la frontière est fixée sur laLeitha[8]. À l'automne 1031, il soutientBezprym, révolté contre son frère le roi dePologneMieszko II. Victorieux, il reprend laLusace[9].
Il entre en Bourgogne transjurane durant l'hiver et, le, est éluroi de Bourgogne par une assemblée réunie àPayerne, en compétition avec son neveuEudes II de Blois, qui est finalement battu en 1034[10].
Conrad part à l'automne 1036, passe Noël àVérone avant de marcher surMilan, où il se brouille avec Aribert quand une émeute éclate. Il convoque une diète àPavie pendant laquelle l'archevêque est accusé d'infidélité envers la couronne et de tyrannie envers les Lombards, et arrêté. L'empereur favorise la réforme monastique inspirée de l'expérienceclunisienne et intervient dans les nominations épiscopales en plaçant des candidats germaniques à la tête de plusieurs diocèses italiens (les évêques deVerceil, deCrémone et dePlaisance sont déposés). Conrad célèbrePâques àRavenne (), quand l'archevêque réussit à s'échapper et à rejoindreMilan où il est bien accueilli[14].
Conrad met Aribert et les Milanais au ban de l'empire, puis va assiéger la ville qui résiste. Il en fait le blocus et ravage les campagnes alentour. C'est pendant le siège, le, qu'il promulgue l'Edictum de beneficiis(en) qui établit l'hérédité des anciens fiefs italiens. Après quinze jours, Conrad se retire à Pavie, puisCrémone. Il met leMilanais à feu et à sang. À Crémone, il rencontre le papeBenoît IX et lui demande d'excommunier Aribert[14]. Ce dernier, ligué avec les évêques deVerceil, deCrémone et dePlaisance, offre la couronne d'Italie àEudes II de Blois. Eudes marche avec son armée contre laLorraine, mais est battu et tué par les forces du ducGothelon de Lotharingie le près deBar-le-Duc.
Conrad passe Noël 1037 àParme, où il doit réprimer une insurrection des habitants. La ville est incendiée et son enceinte démantelée. De Parme, il marche sur leduché de Bénévent. Après avoir célébré Pâques àSpello, il entre àCapoue le. Après l'échec de négociations, il dépose leprince de la ville,Pandulf IV, accusé de spoliation par les moines duMont-Cassin, et place leprince de SalerneGuaimar sur le trône[15]. Puis, il revient sur ses pas, ses troupes étant décimées par les maladies, et repasse lesAlpes à la fin de l'été après avoir demandé aux seigneurs italiens de continuer la guerre contre Milan. Ceux-ci attaquent effectivement le Milanais au printemps1039, puis se débandent à l'annonce de la mort de l'empereur àUtrecht le[14].