Låten har blivit omskriven många gånger, mest frekvent med Jimmie Rodgers version. Artister som har sjungit den är bland annat Tommy Duncan, Webb Pierce, Pink Anderson, Johnny Cash, Jim Jackson, Leon Russell, Mother McCree’s Uptown Jug Champions (med Jerry Garcia), Merle Haggard, Doc Watson, Prism, Suzy Bogguss (med Chet Atkins ) Pokey LaFarge och Tim Blake Nelson med The Soggy Bottom Boys i filmen och soundtracket till O Brother, Where Art Thou? Det var också en av de första låtarna som en tonårig Joan Baez lärde sig. Låten dyker upp under olika titlar, bland annat ”He’s in the Jailhouse Now”, och i vissa versioner används repliken ”She’s in the graveyard now” i refrängen.
För 1930 spelades flera olika versioner av låten in och skyddades av copyright. Den tidigaste är Davis och Staffords version från 1915, som har verser om en man vid namn Campbell som fuskar i ett kortspel och ett korrupt val. År 1924 spelade Whistler’s Jug Band från Louisville, Kentucky, in den under titeln ”Jail House Blues”, som var samma titel som en berömd bluesmelodi av Bessie Smith, men som i själva verket var samma låt som ”In the Jailhouse Now”.
År 1927 gjorde Earl McDonald’s Original Louisville Jug Band en annan inspelning av låten. Två afroamerikanska bluesmän spelade också in låten före Rodgers: Blind Blake (1927) och Jim Jackson (januari 1928). Jackson upphovsrättsskyddade också låten före Rodgers. Slutligen, 1930, spelade Memphis Sheiks (en pseudonym för Memphis Jug Band) in den i en version som forskare ofta har hävdat, om än felaktigt, var en cover av Jimmie Rodgers. Den version av melodin och texten som de använde är helt klart hämtad från Louisville Jug Bands framträdanden, inte från Rodgers. På några av Memphis Sheiks skivor anges en afroamerikansk vaudeville-artist vid namn Bert Murphy ha skrivit låten.
Kort efter att Rodgers spelade in låten dök ytterligare tre versioner upp som definitivt inte var covers av Rodgers. Boyd Senter och hans Senterpedes gjorde en jazzversion 1929 för Victor Records (utgiven på nr 22010 och senare återutgiven på Bluebird Records nr 5545), Gene Kardos och hans orkester gjorde också en jazzversion 1932 för Victor och Billy Mitchell gjorde en stride piano och shouter-version 1936 för Bluebird Records.
Efter Rodgers var den mest kända versionen av låten Webb Pierce, som hade en countryhit på första plats med låten 1955. Pierces version låg på första plats på Billboards countrylista i 21 veckor, vilket blev den tredje låten i listans historia som låg så länge på listan; tidigare hade Eddy Arnold (”I’ll Hold You in My Heart (Till I Can Hold You in My Arms)”, 1947) och Hank Snow (”I’m Movin’ On”, 1950) lyckats med detta. I 58 år höll dessa tre låtar rekordet för flest veckor på första plats med 21 veckor, med endast en handfull låtar som kom inom en månad för att matcha rekordet i början av 1960-talet. Slutligen, den 10 augusti 2013, överträffade ”Cruise” av Florida Georgia Line Pierces ”In the Jailhouse Now” i fråga om flest veckor på första plats när den tillbringade sin 22:a vecka på första plats.
När Johnny Cash spelade in låten 1962 använde han sig av en mer humoristisk text som byggde på 1915 års version; efter att Campbell låsts in har hans fru Sadie en affär med sheriffen. Cash lärde sig denna version av de afroamerikanska jug band-musikerna i Memphis. Trots detta hävdar de flesta författare att Cash coverade Jimmie Rodgers låt, vilket ytterligare skymmer att låten har sitt ursprung hos afroamerikanska artister och hölls vid liv i en vaudeville- och jug band-tradition under många decennier.
Låten återfick sin popularitet flera år senare när Sonny James spelade in en live-version under en konsert 1976 på Tennessee State Prison. James version innehöll stöd av Tennessee State Prison Band och nådde en toppnotering på plats 15 på Hot Country Singles-listan 1977.
Jimmie Rodgers version sjöngs av Gene Autry i hans film ”Back in the Saddle” från 1941.
In O Brother, Where Art Thou?, sjunger ”Delmar” (Tim Blake Nelson) en tolkning, med ”Pete” (John Turturro) som joddlar mellan verserna, före Soggy Bottom Boys huvudnummer, ”Man of Constant Sorrow”. De andra ”Soggy Bottom Boys”-låtarna är läppsynkroniserade, men Tim Blake Nelson sjunger sin egen sång i den här låten, medan Turturros joddling faktiskt utförs av Pat Enright från Nashville Bluegrass Band.
År 1979 framfördes låten i en blackface-föreställning i musikalen One Mo’ Time av Vernel Bagneris. Musikalen återupptogs på Broadway 2002. Den version av låten som användes i föreställningen var samma som den som spelades in av Louisville Jug Bands på 1920-talet.
Brad Paisley använde refrängen i slutet av ”Mr. Policeman”, en låt på hans album 5th Gear från 2007. Ny text skrevs för att ge ett slut på låtens historia.