Sherman se narodil 18. ledna 1956 v Miami na Floridě. V dětství se Sherman s rodinou přestěhoval nejprve do New Yorku a poté do Kalifornie. V osmi letech Jack viděl legendární vystoupení The Beatles v The Ed Sullivan Show, začal se fanaticky zajímat o tvorbu liverpoolské skupiny a vzal do ruky kytaru. O pár let později vyměnil opotřebovanou desku Beatles za nové album Rolling Stones a ponořil se hlouběji do džungle rockové hudby. V San Diegu začal hrát ve skupinách Funky Demon, Pagan Tumor, Boilerhouse, Redemption a Search.
K rockové skupině Red Hot Chili Peppers se připojil v prosinci 1983 poté, co ji opustil původní kytarista Hillel Slovak. Sherman s kapelou zůstal i na jejím prvním turné v roce 1984 na podporu vydání prvního alba The Red Hot Chili Peppers. To se ukázalo být jediným albem, na kterém působil jako kytarista.
Začátkem března 1984 skupina s Jackem Shermanem natočila své debutové televizní vystoupení v pořadu Thicke of the Night, který uváděl Alan Thicke. To bylo odvysíláno 16. března 1984, kde skupina energicky předvedla novou skladbu „True Men Don’t Kill Coyotes“ a již osvědčené koncertní číslo „Get Up and Jump“.
Jack Sherman odehrál všechna vystoupení s The Red Hot Chili Peppers od ledna 1984 do února 1985. První koncert s Jackem se konal 19. ledna 1984 v Music Machine. Poslední vystoupení se konalo 16. února 1985 v Jed’s Showcase.
Sherman měl být spoluautorem poloviny písní na druhém albu skupiny Freaky Styley, ale když Slovák na začátku roku 1985 požádal o návrat do skupiny, Sherman byl vyhozen ještě před zahájením nahrávání. Přesto později poskytl doprovodné vokály ke dvěma písním na albu kapely Mother’s Milk z roku 1989.
Později spolupracoval s Bobem Dylanem na albu Knocked Out Loaded, funkovým hudebníkem Georgem Clintonem na albu R&B Skeletons in the Closet a také s Feargalem Sharkeyem a Peterem Caseem.
Když byli Red Hot Chili Peppers v roce 2012 uvedeni do Rokenrolové síně slávy, Sherman ani jejich bývalý kytarista Dave Navarro, z nichž každý hrál na kytaru na jednom z alb skupiny, nebyli uvedeni. Sherman z tohoto opomenutí obvinil členy kapely s tím, že to ignoruje práci, kterou vložili, když „se prodávali za těžkých podmínek“.
Anthony Kiedis, zpěvák Red Hot Chili Peppers, ve své autobiografii Scar Tissue z roku 2004 napsal, že kapela pochopila, že její vztah se Shermanem je přechodný, protože nemá „punkrockový rodokmen“. Nicméně uznal, že Sherman hrál důležitou roli při udržování kapely nad vodou.
.