Sherman syntyi Miamissa, Floridassa 18. tammikuuta 1956. Lapsuudessaan Sherman muutti perheineen ensin New Yorkiin ja sitten Kaliforniaan. Kahdeksanvuotiaana Jack näki The Beatlesin legendaarisen esityksen The Ed Sullivan Show’ssa, kiinnostui fanaattisesti liverpoolilaisyhtyeen toiminnasta ja tarttui kitaraan. Pari vuotta myöhemmin hän vaihtoi kuluneen Beatles-levyn The Rolling Stonesin uuteen albumiin ja sukelsi syvemmälle rockmusiikin viidakkoon. San Diegossa hän alkoi soittaa Funky Demon-, Pagan Tumor-, Boilerhouse-, Redemption- ja Search-yhtyeissä.
Hän liittyi joulukuussa 1983 rockyhtye Red Hot Chili Peppersiin alkuperäisen kitaristin Hillel Slovakin jätettyä yhtyeen. Sherman pysyisi bändin mukana bändin ensimmäisellä kiertueella vuonna 1984 tukemaan bändin ensimmäisen albumin, The Red Hot Chili Peppers, julkaisua. Tämä osoittautui ainoaksi albumiksi, jolla hän toimisi kitaristina.
Maaliskuun alussa 1984 yhtye Jack Shermanin kanssa kuvasi debyyttinsä televisioesiintymisenä Alan Thicken isännöimässä Thicke of the Night -ohjelmassa. Tämä esitettiin 16. maaliskuuta 1984, jossa yhtye esitti energisesti uuden sävellyksen ”True Men Don’t Kill Coyotes” sekä jo hyväksi havaitun konserttinumeron ”Get Up and Jump”.
Jack Sherman soitti tammikuusta 1984 helmikuuhun 1985 kaikki keikat The Red Hot Chili Peppersin kanssa. Ensimmäinen keikka Jackin kanssa oli 19. tammikuuta 1984 Music Machinessa. Viimeinen keikka oli 16. helmikuuta 1985 Jed’s Showcase -ravintolassa.
Sherman kirjoittaisi puolet bändin toisen albumin Freaky Styley kappaleista, mutta kun Slovak pyysi alkuvuodesta 1985 palaamaan bändiin, Sherman sai potkut ennen kuin nauhoitukset alkoivat. Tästä huolimatta hän teki myöhemmin taustalauluja kahteen kappaleeseen yhtyeen vuoden 1989 albumilla Mother’s Milk.
Sittemmin hän teki yhteistyötä Bob Dylanin kanssa albumilla Knocked Out Loaded, funk-muusikko George Clintonin kanssa albumilla R&B Skeletons in the Closet sekä Feargal Sharkeyn ja Peter Casen kanssa.
Kun Red Hot Chili Peppers otettiin Rock and Roll Hall of Fameen vuonna 2012, ei Shermania eikä yhtyeen entistä kitaristia Dave Navarroa, jotka kumpikin olivat soittaneet kitaraa yhdellä yhtyeen albumilla, otettu mukaan. Sherman syytti bändin jäseniä poisjättämisestä sanomalla, että se jätti huomiotta sen työn, jonka he olivat tehneet ”taisteltuaan vaikeissa olosuhteissa”.
Anthony Kiedis, Red Hot Chili Peppersin laulaja, kirjoitti vuonna 2004 ilmestyneessä omaelämäkerrassaan Scar Tissue (Arpikudos), että bändi ymmärsi suhteensa Shermaniin olevan ohimenevää, koska Shermanilla ei ollut hallussaan ”punk-rockin sukutaustaa”. Hän kuitenkin tunnusti Shermanin tärkeän roolin bändin pinnalla pysymisessä.