Xanten ble grunnlagt i romertiden og er dermed omtrent 2000 år gammel. Plassen begynte som romersk lagerplassCastrum under navnet Vetera Castra. Den utviklet seg til andre viktigste by i denromerske provinsenGermania Inferior og ble oppgradert til encolonia under keiserTrajan:Colonia Ulpia Traiana. Under et angrep avFrankere i 275 ble byen nærmest fullstendig ødelagt. En mindre festningsby under navnetTricensimae ble bygget på samme plass. Siste romerske mynt som er funnet på stedet er fra 426.
Byen ble sannsynligvis ikke forlatt i folkevandringstiden og har hatt en viss betydning hele tiden. Bysentret ble likevel flyttet til det romerske gravfeltet der en tidlig kristen kirke befant seg. Byen ble nevnt avGregorius av Tours i 590. Et kloster til ære for en lokalmartyr og helgen,Viktor av Xanten ble kjernen av dagens by og opprinnelig kaltad sanctos, derav Xanten. Det betydelige ViktorklosteretViktorstift ble gjentatte ganger overfalt avnormannere på 900-tallet. En biskopsborg forerkebiskopen av Köln og rikelige funn av mynter slått i Xanten fra tidlig middelalder, bekrefter stedets betydning.
Vestfasade av domen St. Viktor.
I 1228 fikk Xanten byrettigheter og i 1263 startet byggingen av Xantens domkirke. Flere klostergrunnlegginger i Viktorstiftets by utover middelalderen satte sitt preg på byen så som kvinneligeFransiskanere (1402), etBirgittakloster [1460),Jesuitter 1609 ogKarteusere i 1628. Økonomisk mistet byen mye av sin betydning, også på grunn av at Rhinen forflyttet seg noe østover.
Til tross for store ødeleggelser underandre verdenskrig ble betydelige deler av det gamle Xanten gjenoppbygget. Rester av romerbyen som ligger i utkanten av Xanten har blitt rekonstruert, til dels ganske fritt.