La chanson a été reprise de nombreuses fois, le plus souvent avec la version de Jimmie Rodgers. Parmi les artistes qui l’ont chantée, citons Tommy Duncan, Webb Pierce, Pink Anderson, Johnny Cash, Jim Jackson, Leon Russell, Mother McCree’s Uptown Jug Champions (avec Jerry Garcia), Merle Haggard, Doc Watson, Prism, Suzy Bogguss (avec Chet Atkins ) Pokey LaFarge, et Tim Blake Nelson avec The Soggy Bottom Boys dans le film et la bande originale de O Brother, Where Art Thou ? C’est également l’une des premières chansons apprises par une Joan Baez adolescente. La chanson apparaît sous différents titres, dont « He’s in the Jailhouse Now », et certaines versions utilisent le vers « She’s in the graveyard now » dans le refrain.
Avant 1930, plusieurs versions différentes ont été enregistrées et protégées par des droits d’auteur. La plus ancienne est la version de 1915 de Davis et Stafford, qui comporte des couplets sur un homme nommé Campbell qui triche à un jeu de cartes et sur une élection corrompue. En 1924, le Whistler’s Jug Band de Louisville, au Kentucky, l’enregistre sous le titre « Jail House Blues », qui est le même titre qu’un célèbre air de blues de Bessie Smith mais qui est, en fait, la même chanson que « In the Jailhouse Now ».
En 1927, l’Original Louisville Jug Band d’Earl McDonald fait un autre enregistrement de la chanson. Deux bluesmen afro-américains ont également enregistré la chanson avant Rodgers : Blind Blake (en 1927), et Jim Jackson (en janvier 1928). Jackson a également déposé un copyright sur la chanson avant Rodgers. Enfin, en 1930, les Memphis Sheiks (un pseudonyme pour le Memphis Jug Band) l’ont enregistrée dans une version que les spécialistes ont souvent considérée, bien qu’à tort, comme une reprise de Jimmie Rodgers. La version de la mélodie et des paroles qu’ils ont utilisée est clairement dérivée des performances du Louisville Jug Band, et non de Rodgers. Sur certains des disques des Memphis Sheiks, un interprète de vaudeville afro-américain nommé Bert Murphy est crédité pour avoir écrit la chanson.
Peu de temps après que Rodgers ait enregistré la chanson, trois autres versions sont apparues qui n’étaient décidément pas des reprises de Rodgers. Boyd Senter et ses Senterpedes ont fait une version jazz en 1929 pour Victor Records (publiée sur #22010, et rééditée plus tard sur Bluebird Records #5545) ; Gene Kardos et son orchestre ont également fait une version jazz en 1932 pour Victor ; et Billy Mitchell en a fait une version stride piano et shouter en 1936 pour le label Bluebird.
Après Rodgers, la version la plus connue de la chanson a été faite par Webb Pierce, qui a eu un succès country n° 1 avec la chanson en 1955. La version de Pierce est restée numéro 1 du Billboard country pendant 21 semaines, devenant ainsi la troisième chanson de l’histoire du classement à y rester aussi longtemps ; auparavant, Eddy Arnold ( » I’ll Hold You in My Heart (Till I Can Hold You in My Arms) « , 1947) et Hank Snow ( » I’m Movin’ On « , 1950) avaient réalisé l’exploit. Pendant 58 ans, ces trois chansons ont détenu le record de longévité pour le plus grand nombre de semaines à la première place avec 21 semaines, avec seulement une poignée de chansons à un mois d’égaler le record jusqu’au début des années 1960. Enfin, le 10 août 2013, « Cruise » de Florida Georgia Line a dépassé « In the Jailhouse Now » de Pierce pour le plus grand nombre de semaines à la première place lorsqu’elle a passé sa 22e semaine à la première place.
Lorsque Johnny Cash a enregistré la chanson en 1962, il a utilisé un ensemble de paroles plus humoristiques, basées sur la version de 1915 ; après que Campbell soit enfermé, sa femme Sadie poursuit une liaison avec le shérif. Cash a appris cette version auprès des musiciens afro-américains du jug band de Memphis. Malgré cela, la plupart des auteurs affirment que Cash reprenait la chanson de Jimmie Rodgers, ce qui occulte encore plus le fait que la chanson est née avec des interprètes afro-américains et a été maintenue en vie dans une tradition de vaudeville et de jug band pendant plusieurs décennies.
La chanson a regagné en popularité des années plus tard lorsque Sonny James a enregistré une version live lors d’un concert en 1976 à la prison d’État du Tennessee. La version de James comprenait un accompagnement par le Tennessee State Prison Band, et a atteint la 15e place du classement Hot Country Singles en 1977.
La version de Jimmie Rodgers a été chantée par Gene Autry dans son film de 1941 « Back in the Saddle. »
Dans O Brother, Where Art Thou ? « Delmar » (Tim Blake Nelson) chante une interprétation, avec « Pete » (John Turturro) faisant du yodel entre les couplets, avant le numéro principal des Soggy Bottom Boys, « Man of Constant Sorrow ». Les autres chansons des « Soggy Bottom Boys » sont synchronisées sur les lèvres, mais Tim Blake Nelson chante sa propre voix sur cette chanson, tandis que le yodel de Turturro est en fait interprété par Pat Enright du Nashville Bluegrass Band.
En 1979, la chanson a été interprétée au visage noir dans la comédie musicale One Mo’ Time de Vernel Bagneris. La comédie musicale a été reprise à Broadway en 2002. La version de la chanson utilisée dans le spectacle était la même que celle enregistrée par les Louisville Jug Bands dans les années 1920.
Brad Paisley a utilisé le refrain pour la fin de « Mr. Policeman », une chanson de son album 5th Gear de 2007. De nouvelles paroles ont été écrites pour donner une fin à l’histoire de la chanson.