Sangen er blevet coveret mange gange, hyppigst med Jimmie Rodgers’ version. Blandt de kunstnere, der har sunget den, kan nævnes Tommy Duncan, Webb Pierce, Pink Anderson, Johnny Cash, Jim Jackson, Leon Russell, Mother McCree’s Uptown Jug Champions (med Jerry Garcia), Merle Haggard, Doc Watson, Prism, Suzy Bogguss (med Chet Atkins ) Pokey LaFarge, og Tim Blake Nelson med The Soggy Bottom Boys i filmen og soundtracket til O Brother, Where Art Thou? Det var også en af de første sange, som en teenager som Joan Baez lærte. Sangen dukker op under forskellige titler, herunder “He’s in the Jailhouse Now”, og nogle versioner bruger linjen “She’s in the graveyard now” i omkvædet.

Forud for 1930 blev flere forskellige versioner af sangen indspillet og beskyttet af copyright. Den tidligste er Davis og Staffords version fra 1915, som har vers om en mand ved navn Campbell, der snyder i et kortspil, og om et korrupt valg. I 1924 indspillede Whistler’s Jug Band fra Louisville, Kentucky, den under titlen “Jail House Blues”, som var den samme titel som en berømt bluesmelodi af Bessie Smith, men som i virkeligheden var den samme sang som “In the Jailhouse Now”.

I 1927 lavede Earl McDonald’s Original Louisville Jug Band en anden indspilning af sangen. To afroamerikanske bluesmænd indspillede også sangen før Rodgers: Blind Blake (i 1927) og Jim Jackson (i januar 1928). Jackson havde også ophavsret til sangen før Rodgers. Endelig indspillede Memphis Sheiks (et pseudonym for Memphis Jug Band) den i 1930 i en version, som forskere ofte har hævdet, om end fejlagtigt, at det var et cover af Jimmie Rodgers. Den version af melodien og teksten, som de brugte, er klart afledt af Louisville Jug Band’s optrædener, ikke af Rodgers. På nogle af Memphis Sheiks’ plader er det en afroamerikansk vaudevillekunstner ved navn Bert Murphy, der får æren for at have skrevet sangen.

Kort efter at Rodgers havde indspillet sangen, dukkede der yderligere tre versioner op, som bestemt ikke var covers af Rodgers. Boyd Senter og hans Senterpedes lavede en jazzversion i 1929 for Victor Records (udgivet på #22010 og senere genudgivet på Bluebird Records #5545); Gene Kardos og hans orkester lavede også en jazzversion i 1932 for Victor; og Billy Mitchell lavede en stride piano og shouter-version af sangen i 1936 for Bluebird-labelet.

Efter Rodgers var den mest kendte version af sangen af Webb Pierce, som havde et nr. 1 countryhit med sangen i 1955. Pierces version lå nr. 1 på Billboards countryliste i 21 uger, hvilket var den tredje sang i listens historie, der lå så længe på listen; tidligere havde Eddy Arnold (“I’ll Hold You in My Heart (Till I Can Hold You in My Arms)”, 1947) og Hank Snow (“I’m Movin’ On”, 1950) opnået denne bedrift. I 58 år holdt disse tre sange rekorden for flest uger på førstepladsen med 21 uger, og kun en håndfuld sange kom inden for en måned til at matche rekorden i begyndelsen af 1960’erne. Endelig overgik Florida Georgia Lines “Cruise” den 10. august 2013 Pierces “In the Jailhouse Now” for flest uger på førstepladsen, da den tilbragte sin 22. uge på førstepladsen.

Da Johnny Cash indspillede sangen i 1962, brugte han en mere humoristisk tekst baseret på versionen fra 1915; efter at Campbell er blevet spærret inde, har hans kone Sadie en affære med sheriffen. Cash lærte denne version af de afroamerikanske jug band-musikere i Memphis. På trods af dette hævder de fleste forfattere, at Cash coverede Jimmie Rodgers’ sang, hvilket yderligere tilslører, at sangen stammer fra afroamerikanske kunstnere og blev holdt i live i en vaudeville- og jug band-tradition i mange årtier.

Sangen genvandt sin popularitet flere år senere, da Sonny James indspillede en live-version under en koncert i 1976 i Tennessee State Prison. James’ version indeholdt opbakning fra Tennessee State Prison Band og toppede som nr. 15 på Hot Country Singles-listen i 1977.

Jimmie Rodgers’ version blev sunget af Gene Autry i hans film “Back in the Saddle” fra 1941.

I O Brother, Where Art Thou? synger “Delmar” (Tim Blake Nelson) en fortolkning med “Pete” (John Turturro), der jodler mellem versene, før Soggy Bottom Boys’ hovednummer, “Man of Constant Sorrow”. De andre “Soggy Bottom Boys”-sange er læbesynkroniserede, men Tim Blake Nelson synger sin egen vokal på denne sang, mens Turturros jodlen faktisk udføres af Pat Enright fra Nashville Bluegrass Band.

I 1979 blev sangen udført i en blackface-optræden i musicalen One Mo’ Time af Vernel Bagneris. Musicalen blev genoptaget på Broadway i 2002. Den version af sangen, der blev brugt i showet, var den samme som den, der blev indspillet af Louisville Jug Bands i 1920’erne.

Brad Paisley brugte omkvædet til slutningen af “Mr. Policeman”, en sang på hans album 5th Gear fra 2007. Der blev skrevet en ny tekst for at give en afslutning på sangens historie.