Sherman est né à Miami, en Floride, le 18 janvier 1956. Dans son enfance, Sherman et sa famille déménagent d’abord à New York, puis en Californie. À l’âge de 8 ans, Jack voit la performance légendaire des Beatles au Ed Sullivan Show, s’intéresse fanatiquement au travail du groupe de Liverpool et prend une guitare. Quelques années plus tard, il échange un disque usé des Beatles contre un nouvel album des Rolling Stones et s’enfonce dans la jungle du rock. À San Diego, il commence à jouer dans les groupes Funky Demon, Pagan Tumor, Boilerhouse, Redemption et Search.
Il rejoint le groupe de rock Red Hot Chili Peppers en décembre 1983, après le départ du guitariste d’origine Hillel Slovak. Sherman restera avec le groupe pour leur première tournée en 1984 afin de soutenir la sortie de leur premier album, The Red Hot Chili Peppers. Cela s’est avéré être le seul album sur lequel il agirait en tant que guitariste.
Au début de mars 1984, le groupe avec Jack Sherman a filmé sa première apparition à la télévision dans l’émission Thicke of the Night animée par Alan Thicke. Celle-ci a été diffusée le 16 mars 1984, où le groupe a interprété avec énergie une nouvelle composition « True Men Don’t Kill Coyotes », et le numéro de concert déjà éprouvé « Get Up and Jump ».
Jack Sherman a joué tous les spectacles avec The Red Hot Chili Peppers de janvier 1984 à février 1985. Le premier spectacle avec Jack a eu lieu le 19 janvier 1984 au Music Machine. Le dernier spectacle a eu lieu le 16 février 1985 au Jed’s Showcase.
Sherman coécrira la moitié des chansons du deuxième album du groupe, Freaky Styley, mais lorsque Slovak demande à réintégrer le groupe au début de 1985, Sherman est licencié avant que l’enregistrement ne commence. Malgré cela, il a par la suite fourni les chœurs de deux chansons sur l’album de 1989 du groupe, Mother’s Milk.
Il a ensuite collaboré avec Bob Dylan dans Knocked Out Loaded, le musicien funk George Clinton dans R&B Skeletons in the Closet, ainsi qu’avec Feargal Sharkey et Peter Case.
Lorsque les Red Hot Chili Peppers ont été intronisés au Rock and Roll Hall of Fame en 2012, ni Sherman ni leur ancien guitariste Dave Navarro, qui avaient chacun joué de la guitare sur un des albums du groupe, n’ont été intronisés. Sherman a blâmé les membres du groupe pour cette omission, affirmant que cela ignorait le travail qu’ils avaient fourni en ayant « persévéré dans des conditions ardues ».
Anthony Kiedis, le chanteur principal des Red Hot Chili Peppers, a écrit dans son autobiographie de 2004, Scar Tissue, que le groupe avait compris que sa relation avec Sherman serait transitoire car il ne possédait pas « un pedigree punk-rock ». Il a toutefois reconnu le rôle important joué par Sherman pour maintenir le groupe à flot.