Laon az Aisne és Serre folyók közötti dombság jellegű sávon fekszik,Saint-Quentin ésReims között félúton. A városmag érdekessége, hogy egy kimagasló, sziklás hegyre épült. Az A26-os autópályaCalais-val ésReimsen keresztülPárizzsal köti össze. A várost Párizzsal és Saint-Quentinnel személyvonatok (TER) kötik össze.
497-ben a laoni születésűSzent Remigius lettReims püspöke, aki létrehozta a Reimstől független laoni püspökséget, ezzel megindítva a várost a fejlődés útján. Laon így aFrank Birodalom egyik meghatározó településévé vált.Kopasz Károly nagy mennyiségű ajándékkal látta el a templomát, biztosítva a város és a püspökség lojalitását. A Frank Birodalom felbomlásával a településLotaringia része lett, azonban az elkövetkező időkben többször harcoltak a város hovatartozása miatt.
A kora középkori település a püspöki palota köré épült, a mai felsőváros északi részén. Ezen a területen, illetve a várostól délnyugatra, főleg a9. századtól egyre több templom készült.648-ban egy kolostor is nyílt a várostól valamelyest délre, a falakon kívül. A város jelentős növekedése azonban csak a11. század végén indult meg.
1112-ben – több másfranciaországi városhoz hasonlóan – Laonban is megindultak a harcok a várost bénító, erős püspöki hatalom ellen. A harcok sokáig elhúzódtak, és egyben teret biztosítottak a püspök és a király közötti összecsapásra is. Végül1128-ban sikerült megállapodni egy, a városnak kisebb autonómiát biztosító kartában.
A13. században az önkormányzattal rendelkező Laon teljesen újjáépült és kibővült. A régi város (Cité) új erődítést kapott, tőle keletre kiépült a Bourg, és a déli Szent Márton kolostor körül is kialakult egy fallal védett városrész. De lakottá vált a két fallal övezett település közötti terület is, valamint a hegy aljában is megjelentek a környező települések. A város jelentősége tovább nőtt, miután1237-ben bíróság alakult itt.
A város virágkora1331-ig tartott, amikor isVI. Fülöp eltörölve a városi önkormányzatot egy királyi elöljárót nevezett ki Laon élére. Az elkövetkező időszakokban a település fejlődése folyamatos, de jóval lassabb, mint korábban. Aszázéves háború során a burgundiaiak elfoglalták, és az angolok kezére juttatták, majdVII. Károly foglalta vissza.1551-ben bírósági központ vált belőle, ám ezt a jogát1594-ben, amikor aKatolikus Liga pártján álló város kapituláltIV. Henrik előtt, elvesztette.
Az1789-esfrancia forradalom során a laoni püspökséget felszámolták. A város tizenkét templomából tízet földig romboltak vagy átalakítottak más célra. A város a19. században is erősen középkori hangulatot mutatott, amelyet csak nehezen lehetett elérni fekvéséből adódóan. Az1850-es években kiépült a városba vezető közút és a vezetékes ivóvíz kérdését, valamint a szennyvízelvezetést is megoldották. Közben a város erődítését is növelték, és egy kaszárnyát is kialakítottak.1870-ben azonban, a német csapatok érkezésekor felrobbantották a lőszerraktárt. A detonáció nagyrészt elpusztította az erődrendszert és a püspöki palotában is komoly károkat okozott.
Azelső világháborúban hosszú ideig a fronton feküdt, így komoly károkat szenvedett. Hadi szerepe azonban nem volt jelentős. Az1970-es években indult meg a város teljes renoválása, amely során visszaalakították középkori hangulatát.1991-ben,Franciaországban először itt építettek egy függővasút vonalat.