A települést először a római korban, a4. század közepén említették Camaracum néven, a nervik városaként, akiknek a központja Bagacumban (a jelenlegiBavay) volt abban az időben. A4. század közepén az észak felől fenyegető frank támadások ellen a rómaiak erődöket építettek aKöln, Bavay, Cambrai,Boulogne-sur-Mer út mentén. Így Cambrai fontos stratégiai szerepet kapott. Az5. század elején a város lett a nervik adminisztratív központja Bavay helyett, talán mert az utóbbi túlságosan ki volt téve a frankok támadásainak, ennek következtében túl sok károsodás érhette. A kereszténység hozzávetőleg ugyanebben az időszakban terjedt el a városban, a nervik Superior nevű püspökét említik a4. század közepén, akiről azonban semmi közelebbit nem tudunk.
430-ban a szálifrankok HosszúhajúChlodion vezetésével elfoglalták a várost. A6. század elején rokonaitól való megszabadulás útjánI. Chlodvig kezdett hozzá a frank királyságok egyesítéséhez. Ezen rokonok egyike volt Ragnacharius, aki egy apró királyságot irányított Cambrai-ból.
A középkorban a cambrai-i egyházmegyeLotaringiának ahhoz a részéhez tartozott, amely különféle hányattatások után940-ben a Birodalom német feléhez került, és941-benI. Ottó német-római császár biztosította Cambrai püspökének mindazokat a kiváltságokat, melyeket korábban a frank királyoktól is megkaptak. A cambrai-i egyházmegye a középkorban óriási hatáskörrel rendelkezett. Területe hozzávetőleg egybeesettBrabant megyével (Brüsszel ésAntwerpen is területéhez tartozott), magában foglaltaNémetalföld középső részét. A püspökségnek korlátozott világi hatalma is volt.
A kalandozó magyarokBulcsú horka vezetésével954.április 6-án ostromolták meg Cambrai-t, amelynek erős római falait Fulbert püspök védte. Háromnapi rohamozás után a magyarok számára kudarccal végződött az ostrom.
1007-benII. Henrik német-római császár Cambrai püspökét hatalommal ruházta fel Cambrésis grófság felett, így a püspök lett a grófság tizenkét főrendjének a hűbérura.
Árpád-háziSzent Erzsébet arany és ezüst adományt küldött a városnak, segítve a régi, háborús és természeti károktól már akkor megviselt katedrális szentélyének megépítését. A katedrális levéltára szerint de Fontaine cambrai-i püspök, akiSzent Erzsébet halálakor a frankfurti udvarban tartózkodott, magához vette, majd eljuttatta a hercegnő szívét Cambrai-ba, Erzsébet végrendeletének megfelelően. Az ereklyét aszékesegyház főoltárába helyezték, s ott őrizték az1235.november 19-ei szentté avatásig. Ma a kereszthajóban egy ablakfestmény látható a szent ábrázolásával. Az egyik belvárosi utcát eredetileg Rue Sainte Elisabeth-nek nevezték, de később – cambrai-i születése miatt – mégisLouis Blériot utcának keresztelték át. A városvezetés kárpótlásul emléktáblát helyezett el az utcában.
II. Fülöp spanyol király kívánságára1559-ben új érsekséget hoztak létre Malines-ben (Mechelen) és 11 másik egyházmegyéből annak érdekében, hogy ez elősegítse a küzdelmet areformáció ellen. Ez a változtatás nagymértékben korlátozta a cambrai-i egyházmegye határait, ezért Cambrai püspökét kárpótlásul szintén érsekké nevezték ki, akinek aSaint Omer-i, aTournai-i és anamuri püspökök lettek a segédpüspökei.
A város védműveinek kiépítése a középkorban is folytatódott. Annak ellenére, hogy részben még középkori erődítésekkel rendelkezett, spanyol védői két francia ostromot (1649-ben és1657-ben) is sikerrel vertek vissza a17. században. Harmadik alkalommal azonbanXIV. Lajos francia király személyes részvétele mellett,Vauban hadmérnök irányításával1677.április 5-én a francia csapatok bevették a várost. A következő évben a terület hivatalosan is 630 év után újra francia fennhatóság alá került.
Fontos megemlíteni Cambrai nagyszerű zenetörténetét, különösen a15. század jelentős ebből a szempontból. Az itteni székesegyház zenei központ szerepét töltötte be egészen a17. századig, itt voltakNémetalföld legélénkebb zenei intézményei, a burgundiai iskola számos zeneszerzője vagy itt nőtt fel, és tanulta mesterségét e városban, vagy ide tért vissza tanítani.1428-ban Luxemburgi Fülöp kijelentette, hogy az itteni székesegyház a legnagyszerűbb az összes keresztény közül, mivel olyan kitűnő az éneklés, oly fényes, és harangjai oly édesen szólnak. A15. század leghíresebb európai zenésze,Guillaume Dufay a székesegyházban tanult1409 és1412 között, majd számos Itáliában eltöltött év után1439-ben ide tért vissza. Más olyan zeneszerzők, mint Johannes Tinctoris ésJohannes Ockeghem is Cambrai-ba jöttek tőle tanulni. További, a székesegyházban tanult híres15. századi zeneszerzők voltak: Nicolas Grenon, Alexander Agricola, Jacob Obrecht. A16. században pedig Philippe de Monte, Johannes Lupi, és Jacobus de Kerle működtek falai között. Mivel a viszonylag közeliBrugge idővel elvesztette az észak-európai gazdasági központ szerepét, ezért a környező területek is szegényebbé váltak, ezzel együtt a kulturális élet is hanyatlott. A székesegyház1796-ban afrancia forradalom során megsemmisült, de levéltára fennmaradt, anyagát jelenlegLille-ben őrzik.
Az1802-es cambrai-i konkordátum visszaminősítette Cambrai-t egyszerű püspökséggé, amelyet apárizsiérsekség alá rendeltek.1841-ben azután ismét érsekséget szerveztek Cambrai-ból, amelynekArras lett a segédpüspöksége.