Sherman nació en Miami, Florida, el 18 de enero de 1956. En su infancia, Sherman y su familia se trasladaron primero a Nueva York y luego a California. A los 8 años, Jack vio la legendaria actuación de The Beatles en The Ed Sullivan Show, se interesó fanáticamente por el trabajo de la banda de Liverpool y cogió una guitarra. Un par de años más tarde, cambió un disco gastado de los Beatles por un nuevo álbum de los Rolling Stones y se sumergió en la jungla de la música rock. En San Diego, comenzó a tocar en los grupos Funky Demon, Pagan Tumor, Boilerhouse, Redemption y Search.
Se unió a la banda de rock Red Hot Chili Peppers en diciembre de 1983, después de que el guitarrista original, Hillel Slovak, abandonara el grupo. Sherman permanecería con la banda durante su primera gira en 1984 para apoyar el lanzamiento de su primer álbum, The Red Hot Chili Peppers. Este resultó ser el único álbum en el que actuaría como guitarrista.
A principios de marzo de 1984, el grupo con Jack Sherman filmó su primera aparición en televisión en Thicke of the Night presentado por Alan Thicke. Esta salió al aire el 16 de marzo de 1984, donde el grupo interpretó con energía una nueva composición «True Men Don’t Kill Coyotes», y el ya probado número de concierto «Get Up and Jump».
Jack Sherman tocó en todos los shows con The Red Hot Chili Peppers desde enero de 1984 hasta febrero de 1985. El primer show con Jack fue el 19 de enero de 1984 en el Music Machine. El último show fue el 16 de febrero de 1985 en Jed’s Showcase.
Sherman coescribiría la mitad de las canciones del segundo álbum de la banda, Freaky Styley, pero cuando Slovak pidió volver a la banda a principios de 1985, Sherman fue despedido antes de que comenzara la grabación. A pesar de ello, más tarde hizo los coros en dos canciones del álbum de 1989 de la banda, Mother’s Milk.
Después colaboró con Bob Dylan en Knocked Out Loaded, con el músico de funk George Clinton en R&B Skeletons in the Closet, así como con Feargal Sharkey y Peter Case.
Cuando los Red Hot Chili Peppers fueron incluidos en el Salón de la Fama del Rock and Roll en 2012, ni Sherman ni su ex guitarrista Dave Navarro, que habían tocado la guitarra cada uno en uno de los álbumes de la banda, fueron incluidos. Sherman culpó a los miembros de la banda por la omisión, diciendo que se ignoraba el trabajo que habían realizado al haber «soldado en condiciones arduas».
Anthony Kiedis, el vocalista principal de Red Hot Chili Peppers, escribió en su autobiografía de 2004, Scar Tissue, que la banda entendía que su relación con Sherman era transitoria porque no poseía «un pedigrí de punk-rock». Sin embargo, reconoció el importante papel que Sherman desempeñó para mantener la banda a flote.