Efter att härförarenNero Claudius Drusus (kejsarAugustus styvson) besegrat flera germanstammar och försökt flytta gränsen från Rhen till Elbe kände sig markomannerna hotade och drog sig österut. Omkring9 f.Kr. lade de under sigBöhmen från den keltiska folkstammenbojer (Bojheim).
Deras hövdingMarbod hade tidigare som legosoldat och kejsarens gunstling länge vistats i Rom. Han försökte upprätta en stormakt efter Roms förebild, och lyckades till en början mycket bra. Han skapade ett väldigt germanförbund och till honom slöt sig deras släktfolkkvaderna,hermundurerna ochsemnonerna, men ävenlangobarderna och i viss mångoterna. Kejsar Tiberius blev då misstänksam och tågade därför mot honom med en här som var dubbelt så stor som de 70 000 man till fots samt 4 000 ryttare som Marbod kunde uppbåda. Marbod försökte dock hålla sig neutral mot romarna, som tvingades tåga mot Illyrien för att stoppa det uppror som startat där. Andra germanstammar under cheruskernas hövdingArminius tog dock tillfället i akt och gjorde uppror. När romarna under sin härförareVarus återkom från Illyrien år9 e.Kr. blev de besegrade av Arminius iTeutoburgerskogen. Arminius sände Varus huvud till Marbod för att visa sin vördnad, men Marbod sände huvudet vidare till kejsaren för att visa sin lojalitet.
Marbods neutralitet gjorde flera germanstammar förargade, och därtill kom att han antog kunganamn och försökte regera egenmäktigt. Goterna och några andra stammar gjorde därför uppror mot Marbod och det blev inbördeskrig i hela Germanien. Efter ett oavgjort slag tågade Marbod till Rom för att få stöd mot sina landsmän men romarna svarade att de liksom han tidigare ville vara neutrala. Då avsade sig Marbod styrelsen över sitt rike och bosatte sig i Ravenna med en livstidspension från den romerska staten. Efter detta föll hela Marbods germanunion ihop, och hela hären fick lov att bosätta sig iNoricum, eftersom de inte längre tordes bo kvar iGermanien.
Efter den romerska freden blev dock påtryckningarna för stora på markomannerna och kvaderna från de övriga germanstammarna. Dessa försökte därför gå söderut och fick därför namn om sig att ha startat markomannerkriget år169. Efter flera års strider lyckades romarna under kejsarMarcus Aurelius få fred med markomanner och kvader, som för detta fick betala och lova mycket och ge landavträdelser. Efter detta blev det fred vidDonaugränsen i ett halvsekel.
Markomannerna blev nu ett romerskt lydfolk, tills de, oroade genom östgermanernas framträngande underfolkvandringstiden, sökte förbund medkvaderna. De försökte överskrida den romerska Donaugränsen, men kejsarMarcus Aurelius lyckades genom fleråriga hårda strider (Markomannerkrigen 166–180) avvärja anfallen, och i freden som avslöts med hans sonCommodus återställdes markomannernas beroende av Rom i skärpt form (de fick endast en gång i månaden och under uppsikt av en romersk ämbetsman hålla ting).
Nya anlopp av markomannerna mot den romerska Donaugränsen på 250- och 290-talen misslyckades; dock synes en del av folket fått såsom romerska krigstjänstskyldiga (feoderati) slå sig ned på romerskt område. Som sådana omtalas markomanner i den troligen från början av 400-talet härrörande riksmatrikeln (notitia dignitatum), och troligen tillhörde en kristen markomannerdrottningFritigil, som på390-talet stod i förbindelse med ärkebiskopAmbrosius av Milano, dessa markomanner.
Från 400-talet finns inga underrättelser om markomannerna; i början av 500-talet lämnade deras huvudmassaBöhmen, men kallas dåbajuvarier (folk från Bojhem). De slog sig ned i de efter Västromerska rikets upplösning (476) värnlösa provinserna Noricum och Raetien öster om Lech, i det land, som efter dem fick namnetBayern.
IDe Inventione Litterarum, en text som enligtBenediktermunkenHrabanus Maurus baserar sig på källor från 700- och 800-taletskarolingska rike, finns ett runalfabet bevarat som av hävd brukar kallas det markomanniska, även om det inte finns någon direkt koppling till markomannerna. Runalfabetet består till synes av en blandning av äldre germanska och anglosaxiska runor. Alfabetet brukar antas vara ett tidigt försök att hitta runor ekvivalenta till det latinska alfabetets bokstäver.