Sherman è nato a Miami, Florida, il 18 gennaio 1956. Durante l’infanzia, Sherman e la sua famiglia si trasferirono prima a New York, poi in California. All’età di 8 anni, Jack vide la leggendaria performance dei Beatles all’Ed Sullivan Show, si interessò fanaticamente al lavoro della band di Liverpool e prese in mano una chitarra. Un paio d’anni dopo, scambiò un disco consumato dei Beatles con un nuovo album dei Rolling Stones e si immerse ancora di più nella giungla della musica rock. A San Diego, iniziò a suonare nei gruppi Funky Demon, Pagan Tumor, Boilerhouse, Redemption, e Search.

Entrò nel gruppo rock Red Hot Chili Peppers nel dicembre 1983, dopo che il chitarrista originale Hillel Slovak lasciò la band. Sherman sarebbe rimasto con la band per il loro primo tour nel 1984 per supportare l’uscita del loro primo album, The Red Hot Chili Peppers. Questo si rivelò essere l’unico album in cui avrebbe agito come chitarrista.

All’inizio di marzo 1984, il gruppo con Jack Sherman filmò la loro prima apparizione televisiva su Thicke of the Night condotto da Alan Thicke. Questo andò in onda il 16 marzo 1984, dove il gruppo eseguì energicamente una nuova composizione “True Men Don’t Kill Coyotes”, e il già provato numero da concerto “Get Up and Jump”.

Jack Sherman suonò tutti gli spettacoli con i The Red Hot Chili Peppers dal gennaio 1984 al febbraio 1985. Il primo spettacolo con Jack fu il 19 gennaio 1984 al Music Machine. L’ultimo spettacolo fu il 16 febbraio 1985 al Jed’s Showcase.

Sherman avrebbe co-scritto metà delle canzoni del secondo album della band, Freaky Styley, ma quando Slovak chiese di tornare nella band all’inizio del 1985, Sherman fu licenziato prima che iniziasse la registrazione. Nonostante questo, in seguito fornì i cori a due canzoni nell’album del 1989 della band, Mother’s Milk.

In seguito collaborò con Bob Dylan in Knocked Out Loaded, il musicista funk George Clinton in R&B Skeletons in the Closet, così come Feargal Sharkey e Peter Case.

Quando i Red Hot Chili Peppers furono inseriti nella Rock and Roll Hall of Fame nel 2012, né Sherman né il loro ex chitarrista Dave Navarro, che avevano suonato la chitarra in uno degli album della band, furono inseriti. Sherman ha incolpato i membri della band per l’omissione, dicendo che ha ignorato il lavoro che avevano messo in avendo “combattuto in condizioni difficili”.

Anthony Kiedis, il cantante dei Red Hot Chili Peppers, ha scritto nella sua autobiografia del 2004, Scar Tissue, che la band ha capito che il suo rapporto con Sherman era transitorio perché non possedeva “un pedigree punk-rock”. Tuttavia, ha riconosciuto il ruolo importante che Sherman ha giocato nel tenere a galla la band.