Schwarzer indledte sin seniorkarriere i australskeMarconi Stallions, der på det tidspunkt spillede i den daværendeNational Soccer League. Efter at have taget springet tilEuropa repræsenterede australieren først tyskeDynamo Dresden og dernæst1. FC Kaiserslautern. Op til sæsonen 1996-97 skiftede han Tyskland ud med England ogBradford City uden særlig succes. Allerede efter en enkelt sæson hos Bradford gik turen til midtengelske Middlesbrough, hvor det gik meget bedre.
Schwarzer fik sin debut for Middleborough i enLeague Cup-kamp mod Stockport County. Den australske målmand blev noget af institution hos Middlesborough og er i øjeblikket den udlænding, der har spillet flest kampe for en engelsk klub, da han passeredeDennis Bergkamps 315 kampe forArsenal F.C. Schwarzer var desuden en betydningsfuld del af det Middlesbrough-hold, der vandt League Cup'en i 2004 med en sejr overBolton Wanderers.
Efter 11 år hos Middleborough gik turen tilLondon ogFulham F.C., hvor han fik sin debut i et 2-1 nederlag tilHull City iPremier Leagues indledende runde i 2008/09-sæsonen. Hos Fulman imponerede han med blandt andet i flere kampe at holde modstanderne fra at score. Schwarzer blev belønnet for sin gode indsats med at blive kåret til "Årets Spiller" i sin første sæson i klubben.
Ved kontraktudløbet i sommeren 2013 valgte den nu næsten 41-årige Mark Schwarzer at skrive en etårig kontrakt medChelsea FC, hvor han blev andenmålmand efterPetr Cech. I denne situation blev det kun til enkelte kampe, men de tre første kampe i henholdsvis Liga Cup'en ogChampions League holdt han målet rent. I CL-kampen modSteaua Bukarest 11. december 2013 blev han den ældste spiller, der fik debut i turneringen med sine 41 år. Senere i sæsonen fik han Premier League-debut for Chelsea 19. april 2014, og her blev han den ældste Chelsea-spiller nogensinde i PL.
Da Cech blev skadet i den første semifinale i Champions League modAtletico Madrid, blev Schwarzer skiftet ind og holdt igen målet rent, lige som han gjorde i den følgende PL-kamp modLiverpool F.C., inden han spillede hele returkampen mod Atletico, som Chelsea tabte 1-3 og derved ikke kvalificerede sig til finalen.