La canzone è stata coperta molte volte, più frequentemente con la versione di Jimmie Rodgers. Tra gli artisti che l’hanno cantata ci sono Tommy Duncan, Webb Pierce, Pink Anderson, Johnny Cash, Jim Jackson, Leon Russell, Mother McCree’s Uptown Jug Champions (con Jerry Garcia), Merle Haggard, Doc Watson, Prism, Suzy Bogguss (con Chet Atkins) Pokey LaFarge, e Tim Blake Nelson con The Soggy Bottom Boys nel film e colonna sonora di O Brother, Where Art Thou? Fu anche una delle prime canzoni imparate da un’adolescente Joan Baez. La canzone si presenta con diversi titoli tra cui “He’s in the Jailhouse Now”, e alcune versioni usano il verso “She’s in the graveyard now” nel ritornello.
Prima del 1930, diverse versioni di essa furono registrate e coperte da copyright. La prima è la versione di Davis e Stafford del 1915, che ha versi su un uomo di nome Campbell che imbroglia in una partita a carte e su un’elezione corrotta. Nel 1924, la Whistler’s Jug Band di Louisville, Kentucky, la registrò con il titolo “Jail House Blues”, che era lo stesso titolo di un famoso brano blues di Bessie Smith ma era, in realtà, la stessa canzone di “In the Jailhouse Now”.
Nel 1927, la Original Louisville Jug Band di Earl McDonald fece un’altra registrazione della canzone. Anche due bluesmen afroamericani registrarono la canzone prima di Rodgers: Blind Blake (nel 1927), e Jim Jackson (nel gennaio 1928). Jackson ha anche protetto il copyright della canzone prima di Rodgers. Infine, nel 1930, i Memphis Sheiks (pseudonimo della Memphis Jug Band) la registrarono in una versione che gli studiosi hanno spesso sostenuto, anche se erroneamente, essere una cover di Jimmie Rodgers. La versione della melodia e del testo che hanno usato, è chiaramente derivata dalle performance della Louisville Jug Band, non da Rodgers. Su alcuni dischi dei Memphis Sheiks, un performer di vaudeville afroamericano di nome Bert Murphy è accreditato per aver scritto la canzone.
Poco dopo che Rodgers registrò la canzone, apparvero altre tre versioni che non erano decisamente cover di Rodgers. Boyd Senter e i suoi Senterpedes ne fecero una versione jazz nel 1929 per la Victor Records (pubblicata su #22010, e più tardi ristampata su Bluebird Records #5545); anche Gene Kardos and His Orchestra ne fece una versione jazz nel 1932 per Victor; e Billy Mitchell ne fece una versione stride piano e shouter nel 1936 per l’etichetta Bluebird.
Dopo Rodgers, la versione più nota della canzone fu quella di Webb Pierce, che ebbe un successo country n. 1 con la canzone nel 1955. La versione di Pierce rimase al numero 1 della classifica country di Billboard per 21 settimane, diventando la terza canzone nella storia della classifica a rimanere così a lungo in classifica; in precedenza, Eddy Arnold (“I’ll Hold You in My Heart (Till I Can Hold You in My Arms),” 1947) e Hank Snow (“I’m Movin’ On,” 1950) avevano raggiunto l’impresa. Per 58 anni, queste tre canzoni hanno detenuto il record di longevità per il maggior numero di settimane al n. 1 con 21 settimane, con solo una manciata di canzoni che sono arrivate a un mese dal raggiungere il record nei primi anni ’60. Infine, il 10 agosto 2013, “Cruise” di Florida Georgia Line ha superato “In the Jailhouse Now” di Pierce per la maggior parte delle settimane al n. 1 quando ha trascorso la sua 22a settimana al n. 1.
Quando Johnny Cash ha registrato la canzone nel 1962, ha usato un testo più umoristico, basato sulla versione del 1915; dopo che Campbell viene rinchiuso, sua moglie Sadie ha una relazione con lo sceriffo. Cash imparò questa versione dai musicisti afro-americani della jug band di Memphis. Nonostante questo, la maggior parte degli scrittori sostiene che Cash stesse copiando la canzone di Jimmie Rodgers, il che oscura ulteriormente il fatto che la canzone ebbe origine con interpreti afroamericani e fu tenuta in vita in una tradizione di vaudeville e jug band per molti decenni.
La canzone riacquistò popolarità anni dopo quando Sonny James registrò una versione live durante un concerto del 1976 alla Tennessee State Prison. La versione di James includeva il supporto della Tennessee State Prison Band, e raggiunse il numero 15 della Hot Country Singles chart nel 1977.
La versione di Jimmie Rodgers fu cantata da Gene Autry nel suo film del 1941 “Back in the Saddle.”
In O Brother, Where Art Thou? “Delmar” (Tim Blake Nelson) ne canta una versione, con “Pete” (John Turturro) che fa lo yodel tra le strofe, prima del numero principale dei Soggy Bottom Boys, “Man of Constant Sorrow”. Le altre canzoni dei “Soggy Bottom Boys” sono sincronizzate con il labiale, ma Tim Blake Nelson canta la sua voce in questa canzone, mentre lo yodel di Turturro è eseguito da Pat Enright della Nashville Bluegrass Band.
Nel 1979, la canzone fu eseguita con una performance in nero nel musical One Mo’ Time di Vernel Bagneris. Il musical è stato riproposto a Broadway nel 2002. La versione della canzone usata nello spettacolo era la stessa di quella registrata dalla Louisville Jug Band negli anni ’20.
Brad Paisley ha usato il coro per la fine di “Mr. Policeman”, una canzone del suo album 5th Gear del 2007. Un nuovo testo è stato scritto per fornire un finale alla storia della canzone.
.