Sherman wurde am 18. Januar 1956 in Miami, Florida, geboren. Im Kindesalter zogen Sherman und seine Familie zunächst nach New York, dann nach Kalifornien. Im Alter von 8 Jahren sah Jack den legendären Auftritt der Beatles in der Ed Sullivan Show, interessierte sich fanatisch für die Arbeit der Liverpooler Band und nahm eine Gitarre in die Hand. Ein paar Jahre später tauschte er eine abgenutzte Beatles-Scheibe gegen ein neues Album der Rolling Stones und tauchte tiefer in den Dschungel der Rockmusik ein. In San Diego begann er in den Gruppen Funky Demon, Pagan Tumor, Boilerhouse, Redemption und Search zu spielen.
Im Dezember 1983 trat er der Rockband Red Hot Chili Peppers bei, nachdem der ursprüngliche Gitarrist Hillel Slovak die Band verlassen hatte. Sherman blieb mit der Band auf ihrer ersten Tournee 1984, um die Veröffentlichung ihres ersten Albums The Red Hot Chili Peppers zu unterstützen. Dies sollte das einzige Album bleiben, auf dem er als Gitarrist mitwirkte.
Anfang März 1984 drehte die Gruppe mit Jack Sherman ihren ersten Fernsehauftritt bei Thicke of the Night, moderiert von Alan Thicke. Dieser wurde am 16. März 1984 ausgestrahlt, wo die Gruppe energisch eine neue Komposition „True Men Don’t Kill Coyotes“ und die bereits bewährte Konzertnummer „Get Up and Jump“ vortrug.
Jack Sherman spielte alle Shows mit The Red Hot Chili Peppers von Januar 1984 bis Februar 1985. Die erste Show mit Jack war am 19. Januar 1984 in der Music Machine. Die letzte Show war am 16. Februar 1985 in Jed’s Showcase.
Sherman sollte die Hälfte der Songs auf dem zweiten Album der Band, Freaky Styley, mitschreiben, aber als Slovak Anfang 1985 darum bat, in die Band zurückzukehren, wurde Sherman vor Beginn der Aufnahmen gefeuert. Trotzdem sang er später zwei Songs auf dem 1989er Album Mother’s Milk ein.
Danach arbeitete er mit Bob Dylan bei Knocked Out Loaded, mit dem Funk-Musiker George Clinton bei R&B Skeletons in the Closet, sowie mit Feargal Sharkey und Peter Case zusammen.
Als die Red Hot Chili Peppers 2012 in die Rock and Roll Hall of Fame aufgenommen wurden, wurden weder Sherman noch ihr ehemaliger Gitarrist Dave Navarro, die beide auf einem der Alben der Band Gitarre gespielt hatten, aufgenommen. Sherman gab den Bandmitgliedern die Schuld für die Unterlassung und sagte, dies ignoriere die Arbeit, die sie „unter schwierigen Bedingungen“ geleistet hätten.
Anthony Kiedis, der Leadsänger der Red Hot Chili Peppers, schrieb in seiner Autobiografie Scar Tissue aus dem Jahr 2004, die Band habe verstanden, dass ihre Beziehung zu Sherman vorübergehend sei, weil er keinen „Punkrock-Stammbaum“ besitze. Er würdigte jedoch die wichtige Rolle, die Sherman dabei spielte, die Band über Wasser zu halten.