Klub je osnovan 1. augusta 1896. Osnivači su bili članovi tri bivša lokalna kluba (FC Turicum,FC Viktoria, iFC Excelsior). Jedan od osnivača je bioJoan Gamper, osnivačBarcelone. Prvu titulu švicarske lige osvaja u sezoni 1901-02. Na narednu je čekao do sezone 1923-24. Do 1930-ih klub je imao nekoliko sekcija (veslanje, boks, atletika i rukomet), ali je nogomet bio najpopularniji.
Od 1925. do 1960. godina klub nije ostvarivao zapažene rezultate. U sezoni 1933-34. ispada u niži rang u kojem se zadržao do 1941. godine. U sezoni 1945-46. ponovo ispada u drugu ligu. Nakon dvije sezone uspjeva izboriti povratak u Superligu. U sezoni 1956-57. po treći put ispada u niži rang.
Period od 1960. do 1981. godine je bio najuspješniji period kluba. U to vrijeme predsjednik kluba je bioEdwin Nägeli, dok su za klub igraliKöbi Kuhn,Fritz Künzli,Ilija Katić iRené Botteron. Zürich osvaja prvenstvo u godinama 1963, 1966, 1968, 1974, 1975, 1976 i 1981. Također je bio pobjednik nacionalnog kupa 1963, 1966, 1968, 1974, 1975, 1976 i 1981. godine. U sezoni 1963-64. je igrao polufinaleKupa evropskih šampiona.
Nakon ligaške titule 1981. godine uslijedio je pad kluba. 1988. godine ispada uChallenge League, da bi nakon dvije sezone izborio povratak. U sezoni 1998-99. dolazi do osmine finalaKupa UEFA. 2000. godine osvaja nacionalni kup, ovaj uspjeh ponavlja 2005. godine.
