Sherman blev født i Miami, Florida den 18. januar 1956. I barndommen flyttede Sherman og hans familie først til New York og derefter til Californien. I en alder af 8 år så Jack den legendariske optræden af The Beatles i The Ed Sullivan Show, blev fanatisk interesseret i Liverpool-bandets arbejde og tog en guitar i hånden. Et par år senere byttede han en udtjent Beatles-skive for et nyt album med Rolling Stones og kastede sig dybere ned i rockmusikkens jungle. I San Diego begyndte han at spille i grupperne Funky Demon, Pagan Tumor, Boilerhouse, Redemption og Search.
Han blev medlem af rockbandet Red Hot Chili Peppers i december 1983, efter at den oprindelige guitarist Hillel Slovak havde forladt bandet. Sherman ville forblive med bandet på deres første turné i 1984 for at støtte udgivelsen af deres første album, The Red Hot Chili Peppers. Dette viste sig at blive det eneste album, hvor han skulle fungere som guitarist.
I begyndelsen af marts 1984 filmede gruppen med Jack Sherman deres første tv-optræden på Thicke of the Night med Alan Thicke som vært. Denne blev sendt den 16. marts 1984, hvor gruppen energisk fremførte en ny komposition “True Men Don’t Kill Coyotes” og det allerede gennemprøvede koncertnummer “Get Up and Jump”.
Jack Sherman spillede alle koncerter med The Red Hot Chili Peppers fra januar 1984 til februar 1985. Det første show med Jack var den 19. januar 1984 på The Music Machine. Det sidste show var den 16. februar 1985 på Jed’s Showcase.
Sherman skulle være med til at skrive halvdelen af sangene på bandets andet album, Freaky Styley, men da Slovak anmodede om at vende tilbage til bandet i begyndelsen af 1985, blev Sherman fyret, inden indspilningen blev påbegyndt. På trods af dette leverede han senere backingvokal til to sange på bandets album Mother’s Milk fra 1989.
Han samarbejdede efterfølgende med Bob Dylan i Knocked Out Loaded, funkmusikeren George Clinton i R&B Skeletons in the Closet, samt Feargal Sharkey og Peter Case.
Da Red Hot Chili Peppers blev optaget i Rock and Roll Hall of Fame i 2012, blev hverken Sherman eller deres tidligere guitarist Dave Navarro, som hver især havde spillet guitar på et af bandets albums, optaget. Sherman gav bandets medlemmer skylden for udeladelsen og sagde, at det ignorerede det arbejde, de havde lagt i at have “soldiered on under arduous conditions”.
Anthony Kiedis, forsanger i Red Hot Chili Peppers, skrev i sin selvbiografi Scar Tissue fra 2004, at bandet forstod, at dets forhold til Sherman ville være forbigående, fordi han ikke besad “a punk-rock pedigree”. Han anerkendte dog den vigtige rolle Sherman spillede for at holde bandet oven vande.