Sherman is geboren in Miami, Florida, op 18 januari 1956. Als kind verhuisde Sherman met zijn familie eerst naar New York en vervolgens naar Californië. Op 8-jarige leeftijd zag Jack het legendarische optreden van The Beatles in The Ed Sullivan Show, raakte hij fanatiek geïnteresseerd in het werk van de Liverpoolse band en pakte hij een gitaar op. Een paar jaar later ruilde hij een versleten Beatles-schijfje in voor een nieuw album van The Rolling Stones en dook dieper in de jungle van de rockmuziek. In San Diego begon hij te spelen in de groepen Funky Demon, Pagan Tumor, Boilerhouse, Redemption, en Search.
Hij trad toe tot de rockband Red Hot Chili Peppers in december 1983, nadat de oorspronkelijke gitarist Hillel Slovak de band had verlaten. Sherman zou bij de band blijven voor hun eerste tournee in 1984 ter ondersteuning van de release van hun eerste album, The Red Hot Chili Peppers. Dit bleek het enige album te zijn waarop hij als gitarist zou optreden.
In het begin van maart 1984 filmde de groep met Jack Sherman hun debuut televisieoptreden op Thicke of the Night gehost door Alan Thicke. Dit werd uitgezonden op 16 maart 1984, waar de groep energiek een nieuwe compositie “True Men Don’t Kill Coyotes” ten gehore bracht, en het reeds beproefde concertnummer “Get Up and Jump”.
Jack Sherman speelde alle shows met The Red Hot Chili Peppers van januari 1984 tot februari 1985. De eerste show met Jack was op 19 januari 1984 in de Music Machine. De laatste show was op 16 februari 1985 in Jed’s Showcase.
Sherman zou meeschrijven aan de helft van de nummers op het tweede album van de band, Freaky Styley, maar toen Slovak begin 1985 vroeg om terug te keren in de band, werd Sherman ontslagen voordat de opnames begonnen. Desondanks verzorgde hij later de achtergrondzang bij twee nummers op het album Mother’s Milk uit 1989.
Hij werkte daarna samen met Bob Dylan in Knocked Out Loaded, funkmuzikant George Clinton in R&B Skeletons in the Closet, en ook met Feargal Sharkey en Peter Case.
Toen de Red Hot Chili Peppers in 2012 werden opgenomen in de Rock and Roll Hall of Fame, werden noch Sherman noch hun voormalige gitarist Dave Navarro, die elk gitaar hadden gespeeld op een van de albums van de band, opgenomen in de Hall of Fame. Sherman gaf de leden van de band de schuld voor die omissie en zei dat het werk dat ze erin hadden gestoken werd genegeerd omdat ze “onder zware omstandigheden hadden doorgezet”.
Anthony Kiedis, de leadzanger van Red Hot Chili Peppers, schreef in zijn autobiografie uit 2004, Scar Tissue, dat de band begreep dat de relatie met Sherman van voorbijgaande aard was omdat hij niet beschikte over “een punk-rock stamboom”. Hij erkende echter de belangrijke rol die Sherman speelde in het overeind houden van de band.