Det åslendte området rundt Laon har alltid vore strategisk viktig. Rundt tida tilJulius Cæsar låg det eingallisk landsby her. Romarane erobra staden, bygde festningsverk, og klarte å motstå invasjonar fråfrankarar,burgundarar,vandalar,alanarar oghunarar. På denne tida vart han kallaAlaudanum ellerLugdunum Clavatum.
Byen vart eit bispedøme på 400-talet, oppretta av den innføddeSt. Remigius, erkebiskopen som døypteKlodvig I.
Tidleg på 1100-talet, medan biskopen var ute på reise, prøvde innbyggjarane i byen å få kommunestatus, men biskopen kjøpte ei oppheving av dette av den franske kongen. Dette førte til opprør i byen, der bispepalasset vart sett i brann og biskopen og fleire av mennene hans vart drepen. Brann spreidde seg til domkyrkja som brann heilt ned.
Fram til 1331 var byen meir eller mindre fri, før kommunestatusen igjen vart avskaffa. UnderHundreårskrigen vart byen erobra avburgundarane, som gav han opp til engelskmenna, før han vart teke tilbake av Frankrike etterKarl VII kom til makta.
I 1870 sprengde ein ingeniør opp eit kruttlager ved festninga idet tyske troppar gjekk inn i byen. Mange liv gjekk tapt, og katedralen og det gamle bispepalasset vart øydelagd. Underden franske revolusjonen mista Laon statusen som bispedøme.