Sherman nasceu em Miami, Flórida, em 18 de janeiro de 1956. Na infância, Sherman e a sua família mudaram-se primeiro para Nova Iorque, depois para a Califórnia. Aos 8 anos de idade, Jack viu a lendária apresentação dos Beatles no The Ed Sullivan Show, interessou-se fanaticamente pelo trabalho da banda Liverpool, e pegou uma guitarra. Alguns anos depois, ele trocou um disco gasto dos Beatles por um novo álbum dos The Rolling Stones e mergulhou mais fundo na selva do rock. Em San Diego, ele começou a tocar nos grupos Funky Demon, Pagan Tumor, Boilerhouse, Redemption e Search.
Ele entrou para a banda de rock Red Hot Chili Peppers em dezembro de 1983, depois que o guitarrista original Hillel Slovak deixou a banda. Sherman permaneceria com a banda em sua primeira turnê em 1984 para apoiar o lançamento de seu primeiro álbum, The Red Hot Chili Peppers. Este acabou sendo o único álbum em que ele atuaria como guitarrista.
No início de março de 1984, o grupo com Jack Sherman filmou sua primeira aparição na televisão no Thicke of the Night apresentado por Alan Thicke. Isto foi ao ar em 16 de março de 1984, onde o grupo apresentou energicamente uma nova composição “True Men Don’t Kill Coyotes”, e o já comprovado número do concerto “Get Up and Jump”.
Jack Sherman tocou todos os shows com The Red Hot Chili Peppers de janeiro de 1984 a fevereiro de 1985. O primeiro concerto com Jack foi no dia 19 de Janeiro de 1984 na Music Machine. O último show foi no dia 16 de fevereiro de 1985 no Jed’s Showcase.
Sherman co-escreveria metade das músicas do segundo álbum da banda, Freaky Styley, mas quando Slovak pediu para voltar à banda no início de 1985, Sherman foi demitido antes do início das gravações. Apesar disso, mais tarde ele forneceu os backing vocals para duas músicas do álbum da banda de 1989, Mother’s Milk.
Ele posteriormente colaborou com Bob Dylan em Knocked Out Loaded, o músico funk George Clinton em R&B Skeletons in the Closet, assim como Feargal Sharkey e Peter Case.
Quando os Red Hot Chili Peppers foram introduzidos no Rock and Roll Hall of Fame em 2012, nem Sherman nem o seu antigo guitarrista Dave Navarro, que tinham cada um tocado guitarra num dos álbuns da banda, foram introduzidos. Sherman culpou os membros da banda pela omissão, dizendo que ela ignorou o trabalho que eles haviam colocado em ter “soldado sob condições árduas”.
Anthony Kiedis, vocalista principal do Red Hot Chili Peppers, escreveu em sua autobiografia de 2004, Scar Tissue, que a banda entendeu que sua relação com Sherman era transitória porque ele não possuía “um pedigree punk-rock”. Entretanto, ele reconheceu o papel importante que Sherman tocava para manter a banda a flutuar.