Les primeres traces de població humana a la regió de la comuna de Compiègne es remunten a l'inici del 5000A.C. i continuen fins a la conquesta romana.[3] A l'època de laGàl·lia romana, Compiègne va ser un punt de pas per travessar el riu Oise connectat a la xarxa de vies secundàries a la frontera dels territoris delsBellovaques (Beauvais) i delsSuessions (Soissons). Un guè es trobava al lloc anomenat el Clos des Roses entre Compiègne iVenette. Al barri del Clos des Roses s'han trobat les restes d'un edifici romà, el qual es creu que podia ser una fortificació militar.[4] Als voltants de la ciutat hi han presencia deviles romanes.[5][6]
El suburbi deSaint-Germain sembla ser el primer lloc habitat situat dins de l'actual ciutat de Compiègne ja que la ciutat, en el seu emplaçament actual, és relativament recent. Aquesta ciutat va créixer al voltant delcastell de Compiègne, establert pels dels reis de França. Compiègne va estar associada a la corona de França des de l'arribada delsMerovingis. El document més antic que l'esmenta és un diploma deKhildebert I el 547.
El 2 de gener de 876, Carles el Calb va ordenar la construcció de la col·legiata Santa Maria, lo que en un futur passaria a ser l'actualabadia de Saint-Corneille, on va ser consagrat pelpapa Joan VIII el 5 de maig de 877.[11] Per aquesta construcció es va inspirar en l'Aix-la-Chapelle. Des de ençà esdevingué aquesta edificació el nucli al voltant del qual la ciutat començà a desenvolupar-se i el rei hi construí un nou palau.
El seu fillLluís el Tartamut va ser coronat rei a Compiègne el desembre de 877 també a l'abadia de Saint-Corneille per l'arquebisbeHincmar de Reims i hi va morir l'any 879, després de la derrota l'any 883 deCarlemany contra elsnormands. Va ser enterrat a l'abadia de Saint-Corneille.
El 1804, el castell de Compiègne va passar a formar part del domini imperial després de l'abdicació del reiCarles IV d'Espanya davant deNapoleó. El març de 1810, l'emperador es va trobar allí per primera vegada ambMaria Luisa d'Àustria.
El 15 de març de 1814, elsprussians ataquen la ciutat per la carretera deNoyon.
L'11 de novembre de 1918, al bosc nacional de Compiègne, en un vagó de tren al mig d'un bosc, prop de Rethondes, es va signar l'Armistici de Compiegne de 1918 entre França i Alemanya en presència del mariscalFoch, del generalWeygand i el representant alemany,Matthias Erzberg[12] per posar fi a les hostilitats en el front occidental de laPrimera Guerra Mundial.[13]
Al final de la guerra, molts edificis de la ciutat van ser destruïts i la ciutat de Compiègne va ser condecorada ambCreu de Guerra 1914-1918, el 9 de juliol de 1920.
En el mateix lloc, en una clariana anomenada clariana de Rethondes o clariana de l'Armistici, i en el mateix vagó que al 1918, es signa l'Armistici del 22 de juny de 1940 entre França, representada per la delegació enviada pel mariscalPétain i presidida pelGeneral Huntziger, i Alemanya, representada pel mariscalKeitel.Adolf Hitler i molts dignataris alemanys hi eren presents l'endemà, dia inaugural de la negociació d'Armistici. L'Armistici establí les condicions oficials de l'ocupació alemanya de França, que resultà dividida en dues grans zones: laFrança Ocupada, directament sota control alemany, i l'anomenadaZona Lliure, sota l'autoritat de laFrança de Vichy.