S futbalom začínal v klubeHannover 96, kde v juniorskom veku hrával aj pod taktovkou svojho otca Stefana. Svoju seniorskú premiéru si odkrútil v novembri2003 v zápase proti1. FC Köln. Hoci zaznamenal nešťastný začiatok za domovský klub, keď si zlomil nos, čoskoro sa etabloval ako jeden z najsľubnejších obrancov vBundeslige. Prvých 31 stretnutí odohral bez jedinej žltej karty, za čo dostal ocenenie 'Mr. Clean'. Za celé svoje pôsobenie v Hannoveri dostal len 2 žlté karty. Svoj posledný zápas za Hannover odohral13. mája2006, kde Hannover remizoval sBayernom Leverkusen 2 – 2.
V auguste 2006 prestúpil po skvelých výkonoch na Majstrovstvách sveta doWerderu Brémy. Prvý mesiac a pol pauzoval kvôli zraneniu zo svetového šampionátu. V novembri zaznamenal svoj premiérový gól na 1 – 0 vLige majstrov v súboji sChelsea Londýn. Zaujímavosťou je že pri zápase proti svojmu bývalému klubu odmietol oslavovať gól do jeho siete. V sezóne 2007 – 08 odohral všetky bundesligové aj európske stretnutia a tiež zaznamenal svoju prvú červenú kartu v kariére, pri prehre Brém protiVfB Stuttgart v pomere 6 – 3. Na konci prebiehajúcej sezóny podpísal 2-ročnú zmluvu s klubom.
Po návrate zEura 2008 opäť chýbal pre chorobu a zranenie kolena. V septembri už opäť hrával a v semifinále nemeckého pohára strelil dôležitý otvárací gól na 1 – 0 protiHamburgu. Pravidelne hrával až do zranenia v druhom stretnutí semifinálePohára UEFA proti rivalovi z Hamburgu. Ako sa neskôr ukázalo mal natrhnuté väzy v pravom členku, čo vyžadovalo operáciu a tak už Per neodohral do konca sezóny ani jeden zápas. Za celú sezónu (vo všetkých súťažiach) strelil 4 góly.
Sezónu 2009/2010 začal dobre, keď bol pri víťazstve svojho tímu nad FC Union Berlin v nemeckom pohári. V októbri strelil svoj prvý gól sezóny do sieteHoffenheimu, keď upravoval na 2 – 0. Dokopy odohral v sezóne 33 stretnutí a strelil 5 gólov. V svojej poslednej sezóne za Werder odohral 30 súťažných stretnutí a strelil 2 góly.
31. augusta2011 Mertesacker prestúpil do anglickéhoArsenalu za čiastku 8 miliónov libier.[1] Momentálne nastupuje s číslom 4, s ktoré predtým nosil kapitánCesc Fàbregas. Mertesacker zaznamenal svoj debut za Arsenal v zápase soSwansea City, ktorý Arsenal vyhral 1 – 0. V Lige majstrov zaznamenal svoj debut v zápase sBorrusiou Dortmund, kde odohral celý zápas. Postupne sa etabloval v tíme, keď mu v tom dopomohlo aj zranenieThomasa Vermaelena. V tom čase ale čelil kritike zo strane verejnosti, kvôli svojej forme, na čo však dal odpoveď skvelou formou v decembri, keď sa prezentoval dobrými výkonmi hlavne protiWiganu Athletic aEvertonu. V tom období inkasoval Arsenal len 3 góly v šiestich zápasoch.11. februára2012 si v zápase soSunderlandom zranil členok, čo si vyžadovalo operáciu a tak sa preňho sezóna skončila.
