Quatrième d'une familleafro-américaine etamérindienne de sept enfants, il grandit àSan Francisco où ses parents ont emménagé. Son père leur apprend à chanter en découvrant son talent. À l'âge de treize ans, en échange de menus services, Johnny Mathis prend des cours pendant six ans auprès d'un professeur de chant qui lui apprend les techniques duchant classique et lyrique.
Il est découvert comme chanteur par Helen Noga, qui tient un Club àSan Francisco et devient son agent. Elle harcèle un producteur de jazz qui fait signer à Johnny Mathis un contrat avecColumbia Records. Mathis enregistre son premier album en 1956,Johnny Mathis: A New Sound In Popular Song. Il enregistre aussi des chansons pour des films. Son apparition à l'Ed Sullivan Show en 1957 le rend célèbre et lance sa carrière.
Grâce à son succès, Helen Nogas achète une maison àBeverly Hills où elle installe sa famille, et où vient vivre Mathis. Son album de 1958Johnny’s Greatest Hits est le premier album de compilations de l'histoire. Il est invité à plus de trente reprises auTonight Show deJohnny Carson. En 1979, son duo avecJane OlivorThe Last Time I Felt Like This du filmSame Time, Next Year est nommé pour l'Oscar de la meilleure chanson originale.
Johnny Mathis est l'un descrooners les plus appréciés auxÉtats-Unis pour sa « voix de velours » et ses chansons d'amour romantiques. La révélation tardive de sonhomosexualité en 1982 lui a cependant valu desmenaces de mort. Il est aussi connu pour sa passion pour legolf et pour sa participation à de nombreuses œuvres caritatives.
Il a reçu troisGrammy Hall of Fame Awards en 1998, 2002 et 2008 pour des chansons qu'il a enregistrées dans lesannées 1950. Il a aussi été honoré en 2003 par un Grammy Lifetime Achievement Award.
Son titreWonderful, Wonderful est utilisé en 1996 dans le deuxième épisode de la saison 4 d'X-Files,La Meute ; ainsi qu'en 2012 pour accompagner la mort du personnage deKaren McCluskey et la naissance d'un enfant, dans leseason's finale (dernier épisode) de la série téléviséeDesperate Housewives.