Patrick Marleau, co equipamento dos Sharks en 2008.
Antes dos Sharks, a zona onde se albergaría a franquía xa contou cun equipo naNHL. OsCalifornia Golden Seals, que xogaron desde 1967 até 1976, trasladáronse aCleveland para fusionarse en1978 cosMinnesota North Stars. Durante a década de 1980Howard Baldwin, o antigo propietario dosHartford Whalers, liderou un grupo que meteu presión á NHL para obter unha nova franquía enSan José, California. Tras varios acordos comerciais cos propietarios dos North Stars, San José conseguiu unha franquía de expansión da NHL para a tempada 1991-92. O nome da franquía pasou a serSan Jose Sharks, en referencia aosquenllas doocéano Pacífico.
Nos seus dúas primeiras tempadas, os Sharks xogaron noCow Palace deDaly City, nos arredores deSan Francisco. O equipo debutou cunha marca negativa de 71 derrotas, cun refacho de 17 derrotas consecutivas, e non callou boas actuacións. A partir de1993 os Sharks trasladáronse aoSan Jose Area e, baixo o liderado deKevin Constantine, comezaron a remontar o voo logrando a súa primeira clasificación para os playoff. A serie positiva durou até 1996, cando terminaron en última posición da División Pacífico dúas tempadas seguidas.
En1998 chega ao equipoDarryl Sutter como técnico xeral, e baixo a súa dirección melloran os seus resultados regresando aos playoff. O seu primeiro campionato de división chegou en 2001-02, e no mesmo ano véndese o equipo a un grupo de investidores locais liderado porGreg Jamison. O equipo volveu reforzarse con xogadores procedentes de equipos como os Canadiens ouBoston Bruins, pero ao non poder avanzar nos playoff Sutter foi cesado. En 2004 lógrase o campionato de división.
Tras afrontar unha nova renovación a partir de2005 conRon Wilson como técnico, Sharks volveu vencer o campionato de división na tempada de 2007-08. A pesar do cambio de adestrador por Todd McLellan, San Jose gañou oTrofeo dos Presidentes e revalidou o título de división en2009.
A area principal de San José é oHP Pavilion, que conta con capacidade para 17.500 persoas. Este campo é un pavillón multiúsos, e albergou aGolden State Warriors de 1995 a 1997. Inaugurado en1993, o equipo xogou temporalmente enCow Parade ata que se concluíu a construción do novo pavillón.
O equipamento tradicional dos Sharks é verde mariño (local) e branco (visitante), e foi renovada durante sucesivas tempadas. O escudo do club é unquenlla que esnaquiza un stick de hockey dunha dentada, e este animal é tamén a súa mascota oficial. Os Sharks contan con apoio na área da Baía de California.