Sherman föddes i Miami, Florida den 18 januari 1956. Som barn flyttade Sherman och hans familj först till New York och sedan till Kalifornien. Vid åtta års ålder såg Jack det legendariska framträdandet av The Beatles i The Ed Sullivan Show, blev fanatiskt intresserad av Liverpoolbandets arbete och plockade upp en gitarr. Några år senare bytte han en sliten Beatles-skiva mot ett nytt album med Rolling Stones och kastade sig djupare in i rockmusikens djungel. I San Diego började han spela i grupperna Funky Demon, Pagan Tumor, Boilerhouse, Redemption och Search.
Han gick med i rockbandet Red Hot Chili Peppers i december 1983, efter att den ursprungliga gitarristen Hillel Slovak lämnat bandet. Sherman skulle stanna kvar med bandet under deras första turné 1984 för att stödja lanseringen av deras första album The Red Hot Chili Peppers. Detta visade sig vara det enda album där han skulle agera gitarrist.
I början av mars 1984 filmade gruppen med Jack Sherman sitt första tv-framträdande i Thicke of the Night med Alan Thicke som värd. Detta sändes den 16 mars 1984, där gruppen energiskt framförde en ny komposition ”True Men Don’t Kill Coyotes” och det redan beprövade konsertnumret ”Get Up and Jump”.
Jack Sherman spelade alla spelningar med The Red Hot Chili Peppers från januari 1984 till februari 1985. Den första spelningen med Jack var den 19 januari 1984 på Music Machine. Den sista spelningen var den 16 februari 1985 på Jed’s Showcase.
Sherman skulle vara med och skriva hälften av låtarna på bandets andra album, Freaky Styley, men när Slovak begärde att återvända till bandet i början av 1985 fick Sherman sparken innan inspelningen påbörjades. Trots detta stod han senare för bakgrundssång till två låtar på bandets album Mother’s Milk från 1989.
Han samarbetade därefter med Bob Dylan i Knocked Out Loaded, funkmusikern George Clinton i R&B Skeletons in the Closet, samt Feargal Sharkey och Peter Case.
När Red Hot Chili Peppers 2012 blev invalda i Rock and Roll Hall of Fame, blev varken Sherman eller deras tidigare gitarrist Dave Navarro, som båda hade spelat gitarr på ett av bandets album, invalda. Sherman skyllde på bandmedlemmarna för utelämnandet och sa att det ignorerade det arbete som de hade lagt ner efter att ha ”kämpat vidare under svåra förhållanden”.
Anthony Kiedis, sångare i Red Hot Chili Peppers, skrev i sin självbiografi från 2004, Scar Tissue, att bandet förstod att relationen med Sherman skulle vara övergående eftersom han inte hade någon ”punkrockstamtavla”. Han erkände dock den viktiga roll som Sherman spelade för att hålla bandet flytande.