Sherman urodził się w Miami na Florydzie 18 stycznia 1956 roku. W dzieciństwie Sherman i jego rodzina przeprowadzili się najpierw do Nowego Jorku, a następnie do Kalifornii. W wieku 8 lat Jack zobaczył legendarny występ The Beatles w The Ed Sullivan Show, fanatycznie zainteresował się twórczością zespołu z Liverpoolu i wziął do ręki gitarę. Kilka lat później wymienił zużytą płytę Beatlesów na nowy album The Rolling Stones i zanurzył się głębiej w dżunglę muzyki rockowej. W San Diego, zaczął grać w grupach Funky Demon, Pagan Tumor, Boilerhouse, Redemption i Search.
Dołączył do zespołu rockowego Red Hot Chili Peppers w grudniu 1983 roku, po tym jak oryginalny gitarzysta Hillel Slovak opuścił zespół. Sherman pozostanie z zespołem na ich pierwszej trasie w 1984 roku w celu wsparcia wydania ich pierwszego albumu, The Red Hot Chili Peppers. To okazało się być jedynym albumem, na którym będzie działać jako guitarist.
Na początku marca 1984 roku, grupa z Jackiem Sherman nakręcił ich debiutancki występ telewizyjny na Thicke of the Night hosted przez Alan Thicke. Został on wyemitowany 16 marca 1984 roku, gdzie grupa energicznie wykonała nową kompozycję „True Men Don’t Kill Coyotes” oraz sprawdzony już numer koncertowy „Get Up and Jump”.
Jack Sherman zagrał wszystkie koncerty z The Red Hot Chili Peppers od stycznia 1984 roku do lutego 1985 roku. Pierwszy koncert z Jackiem odbył się 19 stycznia 1984 roku w Music Machine. Ostatni występ miał miejsce 16 lutego 1985 roku w Jed’s Showcase.
Sherman byłby współautorem połowy piosenek na drugim albumie zespołu, Freaky Styley, ale kiedy Slovak zażądał powrotu do zespołu na początku 1985 roku, Sherman został zwolniony przed rozpoczęciem nagrywania. Pomimo tego, zapewnił później podkład wokalny do dwóch piosenek na albumie zespołu z 1989 roku, Mother’s Milk.
Później współpracował z Bobem Dylanem w Knocked Out Loaded, muzykiem funkowym Georgem Clintonem w R&B Skeletons in the Closet, a także Feargalem Sharkeyem i Peterem Case’em.
Kiedy Red Hot Chili Peppers zostali wprowadzeni do Rock and Roll Hall of Fame w 2012 roku, ani Sherman, ani ich były gitarzysta Dave Navarro, którzy mieli każdy grał na gitarze na jednym z albumów zespołu, zostali wprowadzeni. Sherman obwiniał członków zespołu za pominięcie, mówiąc, że to zignorowało pracę, którą włożyli w posiadanie „soldiered dalej w trudnych warunkach”.
Anthony Kiedis, główny wokalista Red Hot Chili Peppers, napisał w swojej autobiografii 2004, Scar Tissue, że zespół zrozumiał, że jego związek z Sherman być przejściowe, ponieważ nie posiadał „punk-rock rodowód”. Jednakże, uznał ważną rolę Sherman grał w utrzymaniu zespołu afloat.
.