Sherman s-a născut în Miami, Florida, la 18 ianuarie 1956. În copilărie, Sherman și familia sa s-au mutat mai întâi la New York, apoi în California. La vârsta de 8 ani, Jack a văzut legendara reprezentație a trupei The Beatles la The Ed Sullivan Show, a devenit interesat în mod fanatic de activitatea formației din Liverpool și a pus mâna pe o chitară. Câțiva ani mai târziu, a schimbat un disc uzat de la Beatles cu un album nou de la The Rolling Stones și a plonjat mai adânc în jungla muzicii rock. În San Diego, a început să cânte în grupurile Funky Demon, Pagan Tumor, Boilerhouse, Redemption și Search.
A intrat în trupa rock Red Hot Chili Peppers în decembrie 1983, după ce chitaristul original Hillel Slovak a părăsit formația. Sherman va rămâne alături de trupă pentru primul lor turneu din 1984, pentru a susține lansarea primului lor album, The Red Hot Chili Peppers. Acesta s-a dovedit a fi singurul album pe care va acționa ca chitarist.
La începutul lunii martie 1984, grupul cu Jack Sherman și-a filmat prima apariție televizată în cadrul emisiunii Thicke of the Night prezentată de Alan Thicke. Aceasta a fost difuzată pe 16 martie 1984, unde grupul a interpretat energic o nouă compoziție, „True Men Don’t Kill Coyotes”, și numărul de concert deja dovedit „Get Up and Jump”.
Jack Sherman a cântat în toate spectacolele cu The Red Hot Chili Peppers din ianuarie 1984 până în februarie 1985. Primul concert cu Jack a avut loc pe 19 ianuarie 1984 la Music Machine. Ultimul spectacol a fost pe 16 februarie 1985 la Jed’s Showcase.
Sherman avea să co-scrie jumătate din cântecele de pe cel de-al doilea album al trupei, Freaky Styley, dar când Slovak a cerut să se întoarcă în trupă la începutul anului 1985, Sherman a fost concediat înainte de începerea înregistrărilor. În ciuda acestui fapt, el a asigurat ulterior backing vocals la două cântece de pe albumul din 1989 al trupei, Mother’s Milk.
A ulterior a colaborat cu Bob Dylan în Knocked Out Loaded, cu muzicianul funk George Clinton în R&B Skeletons in the Closet, precum și cu Feargal Sharkey și Peter Case.
Când trupa Red Hot Chili Peppers a fost inclusă în Rock and Roll Hall of Fame în 2012, nici Sherman și nici fostul lor chitarist Dave Navarro, care au cântat fiecare la chitară pe unul dintre albumele trupei, nu au fost incluși. Sherman a dat vina pe membrii trupei pentru această omisiune, spunând că aceasta a ignorat munca pe care aceștia au depus-o, având în vedere că „au rezistat în condiții dificile”.
Anthony Kiedis, solistul trupei Red Hot Chili Peppers, a scris în autobiografia sa din 2004, Scar Tissue, că trupa a înțeles că relația sa cu Sherman să fie trecătoare, deoarece acesta nu poseda „un pedigree punk-rock”. Cu toate acestea, el a recunoscut rolul important pe care Sherman l-a jucat în menținerea trupei pe linia de plutire.