9 мая 1990 года НХЛ одобрило сделку, по которой Джордж и Гордон Ганд, продав "Миннисту Норс Старс", получили права на новый клуб в районе залива у Сан-Франциско. 6 сентября того же года было объявлено, что новая команда будет называться "Шаркс" - "Акулы". Через несколько недель после этого, Джордж Ганд и мэр города Сан-Хосе заявили, что домом команды с 1993-94 годов станет новая арена в центре Сан-Хосе. 

Вратарь Артурс Ирбе был одним из самых популярных хоккеистов "Шаркс" в первые года существования команды

Таким образом первые два сезона "Шаркс" проводили домашние игры в "Кау Коллизеуме", расположенном за окраиной Сан-Франциско, в 80 километрах на север от Сан-Хосе. Свой первый матч "Акулы" сыграли 4 октября 1991 года в Ванкувере и проиграли 3:4. 8 октября того же года "Шаркс" одержали свою первую победу, переиграв на своём льду Калгари 4:3. Первые два года стали самыми неудачными в короткой истории клуба. В сезоне 1992-93 годов команда проиграла 71 игру, установив тем самым новый рекорд НХЛ по количеству поражений. Одним из немногих приятных воспоминаний для болельщиков в тот год стала игра латышского вратаря Артурса Ирбе, который хоть и проиграл 33 игры при 7 победах, стал одним из популярных игроков команды. 17 ноября 1992 года он отразил 39 бросков "Лос-Анжелес Кингз" и одержал первую "сухую" победу в истории "Шаркс". 

Сезон 1993-94 годов команда начала не только в новом доме, но и с новым тренером. 35-летний Кэвин Константин сделал ставку на игру от обороны и она принесла ощутимые плоды. В тот же год, свою вторую молодость переживали в Сан-Хосе российские ветераны - Сергей Макаров и Игорь Ларионов. Артурс Ирбе стал играть значительно надежнее, а молодой защитник Сандис Озолиньш был в любую минуту подключиться к атаке. "Шаркс" пробились в плэй-офф и преподнесли самый большой сюрприз в НХЛ в тот год, обыграв в первом раунде Детройт в семи играх. Во втором раунде они были остановлены Торонто, также в семи матчах. 

Сезон 1994-95 не был таким удачным, как предыдущий, но Сан-Хосе снова попали в плэй-офф и снова победили на первом этапе, на этот раз Калгари в семи играх. Во втором раунде, Детройт взял уверенный реванш за поражение в прошлый год, выиграв все четыре матча с общим счётом 24-6. 

Начало сезона 1995-96 годов стало катастрофическим для "Шаркс". Команда отказалась от услуг Макарова и Ирбе; Ларионов и Озолиньш были обменены. После первых 25 игр сезона, Константин был уволен со своего поста. Сезон был потерян. 

На будущий год, генеральный менеджер клуба Дин Ломбарди решил сделать ставку на ветеранов - Ал Айфрэт, Кэлли Хруди, Марти МакСорли, Тони Гранато, Берни Николс выходили в форме "Шаркс". Ломбарди даже совершил обмен с Чикаго и получил вратаря Эда Белфора. Имея в наличие таких игроков, команда так и не смогла пробиться в плэй-офф, в первую очередь из-за крайне неквалифицированного руководства тренеров.

Перед сезоном 1997-98 на пост старшего тренера был нанят Дэррил Саттер. Эд Белфор не стал подписывать контракт с "Акулами" и Ломбарди провернул сделку с Детройтом, получив вратаря Майка Вернона. В результате "Шаркс" выиграли 34 матча в тот год, вышли в плэй-офф, но проиграли в первом раунде Далласу в 6 матчах.

На следующий год Сан-Хосе улучшило свои показатели в регулярном сезоне на 2 очка, но снова уступило в первом раунде Кубка Стэнли, на этот раз Колорадо. 

В 1999-2000 гг в составе "Шаркс" наконец-то разыгрался Оуэн Нолан, ставший главным наступательным оружием команды. Несмотря на то, что "Шаркс" сумели пробиться в плэй-офф лишь в последних матчах регулярного первенства, они снова потрясли НХЛ, обыграв в первом круге розыгрыша Кубка Стэнли чемпионов регулярного сезона - "Ст.Луис Блюз" в 7 играх. Однако во втором раунде плэй-офф, уставшая команда из Сан-Хосе оказалась лёгкой добычей "Даллас Старс". 

В 2000-01 гг, имея в воротах лучшего новичка НХЛ, голкипера из Казахстана Евгения Набокова, а также получив в результате обмена из "Анахеема" "летающего финна" Тиму Селанне, "Шаркс" уверенно прошли длинный сезон, но снова оступились на "Ст.Луисе" в первом раунде Кубка Стэнли. В 2002 году "Сан-Хосе" впервые стали чемпионами своего дивизиона, шестой сезон подряд улучшив свои показатели в регулярном чемпионате. В плэй-оффе они обыграли "Финикс", остановившись в шаге от финала конференции, после поражения от "Колорадо" в серии из семи матчей. 

Перед следующим сезоном "Шаркс" называли в числе главных притендентов на победу в Кубке Стэнли, однако команда ужасно провела регулярный чемпионат и даже не пробилась в плэй-офф. По ходу сезона на посту старшего тренера вместо Дэррила Саттара встал Даг Уиллсон, а в марте 2003 Дин Ломбарди был уволен со своей должности генерального менеджера. В "Сан-Хосе" стали намечаться большие перемены. 

К удивлению болельщиков и специалистов, уже в будущем 2004 году, вместе с Дагом Уилсоном на посту генерального менеджера, "Шаркс" вернулись в элиту команд лиги, заняв первое место в Тихоокеанском дивизионе и в плэй-оффе дойдя до финала Западной конференции. Наибольшая заслуга в успехе клуба принадлежала голкиперу Евгению Набокова и ветерану нападающему Винсенту Дампфузу.

В 2005-06 гг, в первом сезоне после «лок-аута», «Сан Хосе» оказались среди команд показывавших наиболее интересную игру. Сказалось приобретение из «Бостона» Джо Торнтона, значительно усилившего атаку «акул». Благодаря Торнтону, его партнёр по звену Джонатан Чичу сенсационно стал лучшим бомбардиром в НХЛ с 56 голами. Постоянно ходя в фаворитах на победу в Кубке Стэнли в течении нескольких следующих лет, «Шаркс» три года подряд выбывали из борьбы на втором этапе, в результате чего в мае 2008 года Рон Уилсон был уволен с поста старшего тренера. 

Новый наставник Тод МакЛеллан сразу привел команду к победе в регулярном сезоне в 2008-09 гг, однако в плэй-офф результат снова оказался плачевным – поражение в первом раунде от «Анахеема» в шести матчах.

В следующие два сезона «Шаркс» доходили до финала конференции, но лишь в 2016 году сумели наконец-то пробиться в главный финал, уже с новым главным тренером Питером ДеБоером. Лидерами клуба в это время являлись не стареющий Джо Торнтон, талантливые форварды Логан Кутюр, Джо Павлецки, и яркий защитник Брент Бернс. В решающих поединках против «Питтсбурга» «акулы» рассматривались фаворитами, однако Кубок Стэнли остался за «Пингвинз», победившими в серии 4-2.

* в скобках указано количество очков, полученных командой за поражения в овертаймах.

С 2005-06 гг в НХЛ были отменены ничьи и команды стали получать по очку за поражения либо в овертаймах, либо в сериях буллитов.