Sherman 1956. január 18-án született a floridai Miamiban. Gyermekkorában Sherman és családja először New Yorkba, majd Kaliforniába költözött. Jack 8 éves korában látta a Beatles legendás fellépését az Ed Sullivan Show-ban, fanatikusan érdeklődni kezdett a liverpooli együttes munkássága iránt, és gitárt ragadott. Néhány évvel később elcserélte egy kopott Beatles-lemezt a Rolling Stones új albumára, és egyre mélyebbre merült a rockzene dzsungelében. San Diegóban a Funky Demon, a Pagan Tumor, a Boilerhouse, a Redemption és a Search együttesekben kezdett el játszani.
1983 decemberében csatlakozott a Red Hot Chili Peppers rockzenekarhoz, miután az eredeti gitáros, Hillel Slovak elhagyta a zenekart. Sherman a zenekarral maradt az 1984-es első turnéjukon, hogy támogassa az első albumuk, a The Red Hot Chili Peppers megjelenését. Ez lett az egyetlen olyan album, amelyen gitárosként működött közre.
1984 márciusának elején a csapat Jack Shermannel forgatta első televíziós szereplését az Alan Thicke által vezetett Thicke of the Night című műsorban. Ez 1984. március 16-án került adásba, ahol az együttes energikusan adta elő az “True Men Don’t Kill Coyotes” című új szerzeményt, valamint a már bevált “Get Up and Jump” című koncertszámot.
Jack Sherman 1984 januárjától 1985 februárjáig minden koncerten fellépett a Red Hot Chili Peppersszel. Az első koncert Jackkel 1984. január 19-én volt a Music Machine-ben. Az utolsó koncert 1985. február 16-án volt a Jed’s Showcase-ben.
Sherman a zenekar második, Freaky Styley című albumának dalainak felét társszerzőként írta volna, de amikor Slovak 1985 elején kérte, hogy térjen vissza a bandába, Shermant még a felvételek megkezdése előtt kirúgták. Ennek ellenére később ő biztosította a háttérvokált két dalhoz a zenekar 1989-es, Mother’s Milk című albumán.
Később együttműködött Bob Dylannel a Knocked Out Loadedben, a funkzenész George Clintonnal az R&B Skeletons in the Closetben, valamint Feargal Sharkey-val és Peter Case-szel.
Amikor 2012-ben a Red Hot Chili Peppers-t beiktatták a Rock and Roll Hall of Fame-be, sem Sherman, sem korábbi gitárosuk, Dave Navarro, akik mindketten gitároztak a zenekar egy-egy albumán, nem kerültek be. Sherman a zenekar tagjait hibáztatta a kihagyásért, mondván, hogy ezzel figyelmen kívül hagyták azt a munkát, amit ők tettek bele, miután “nehéz körülmények között katonáskodtak”.
Anthony Kiedis, a Red Hot Chili Peppers énekese 2004-es önéletrajzában, a Scar Tissue-ban azt írta, hogy a zenekar megértette, hogy a Shermanhez fűződő kapcsolata átmeneti, mert nem rendelkezett “punk-rock pedigrével”. Ugyanakkor elismerte, hogy Sherman fontos szerepet játszott a zenekar életben tartásában.