A canção já foi coberta muitas vezes, mais frequentemente com a versão de Jimmie Rodgers. Artistas que a cantaram incluem Tommy Duncan, Webb Pierce, Pink Anderson, Johnny Cash, Jim Jackson, Leon Russell, Mother McCree’s Uptown Jug Champions (com Jerry Garcia), Merle Haggard, Doc Watson, Prism, Suzy Bogguss (com Chet Atkins ) Pokey LaFarge, e Tim Blake Nelson com The Soggy Bottom Boys no filme e trilha sonora de O Brother, Where Art Thou? Foi também uma das primeiras músicas aprendidas por uma adolescente Joan Baez. A música aparece sob diferentes títulos, incluindo “He’s in the Jailhouse Now”, e algumas versões usam a linha “She’s in the graveyard now” no refrão.
Prior a 1930, várias versões diferentes foram gravadas e protegidas por direitos autorais. A versão mais antiga é a de Davis e Stafford de 1915, que tem versos sobre um homem chamado Campbell trapaceando em um jogo de cartas e uma eleição corrupta. Em 1924, Whistler’s Jug Band de Louisville, Kentucky, gravou-a sob o título “Jail House Blues”, que era o mesmo título de uma famosa melodia de blues de Bessie Smith mas era, na verdade, a mesma música de “In the Jailhouse Now”.
Em 1927, Earl McDonald’s Original Louisville Jug Band fez outra gravação da música. Dois músicos de blues afro-americanos também gravaram a canção antes de Rodgers: Blind Blake (em 1927), e Jim Jackson (em Janeiro de 1928). Jackson também fez direitos autorais da canção antes de Rodgers. Finalmente, em 1930, o Memphis Sheiks (um pseudônimo para a Memphis Jug Band) a gravou em uma versão que os estudiosos muitas vezes afirmaram, embora erroneamente, ser um cover de Jimmie Rodgers. A versão da melodia e da letra que eles usaram, é claramente derivada das apresentações da Louisville Jug Band, não de Rodgers. Em alguns dos discos de Memphis Sheiks, um cantor de vaudeville afro-americano chamado Bert Murphy é creditado por escrever a música.
Pouco depois de Rodgers ter gravado a música, apareceram três versões adicionais que decididamente não eram covers de Rodgers. Boyd Senter e seus Senterpedes fizeram uma versão de jazz em 1929 para a Victor Records (lançada em #22010, e posteriormente reeditada na Bluebird Records #5545); Gene Kardos e sua Orquestra também fizeram uma versão de jazz em 1932 para Victor; e Billy Mitchell fez uma versão de stride piano e shouter em 1936 para a gravadora Bluebird.
Depois de Rodgers, a versão mais conhecida da canção foi de Webb Pierce, que teve um sucesso de país nº 1 com a canção em 1955. A versão de Pierce passou o número 1 na tabela de países da Billboard por 21 semanas, tornando-se a terceira música da história da tabela a passar tanto tempo na tabela; anteriormente, Eddy Arnold (“I’ll Hold You in My Heart (Till I Can Hold You in My Arms)”, 1947) e Hank Snow (“I’m Movin’ On”, 1950) alcançaram a façanha. Durante 58 anos, essas três canções seguraram o disco de longevidade durante a maioria das semanas no No. 1 com 21 semanas, com apenas um punhado de canções chegando dentro de um mês depois de igualar o disco no início dos anos 60. Finalmente, em 10 de agosto de 2013, “Cruise” da Florida Georgia Line ultrapassou “In the Jailhouse Now” de Pierce durante a maioria das semanas no No. 1 quando passou sua 22ª semana no No. 1.
Quando Johnny Cash gravou a canção em 1962, ele usou uma letra mais humorística, baseada na versão de 1915; depois de Campbell ser preso, sua esposa Sadie continua um caso com o xerife. Cash aprendeu esta versão com os músicos da banda afro-americana de jarros em Memphis. Apesar disso, a maioria dos escritores afirma que Cash estava cobrindo a canção de Jimmie Rodgers, o que obscurece ainda mais que a canção teve origem com artistas afro-americanos e foi mantida viva em uma tradição de vaudeville e jug band por muitas décadas.
A canção ganhou popularidade anos mais tarde quando Sonny James gravou uma versão ao vivo durante um concerto de 1976 na Prisão Estadual do Tennessee. A versão de James incluiu o apoio da Tennessee State Prison Band, e atingiu o auge no número 15 da tabela dos Hot Country Singles em 1977.
A versão de Jimmie Rodgers foi cantada por Gene Autry no seu filme “Back in the Saddle” de 1941.
In O Brother, Where Art Thou? “Delmar” (Tim Blake Nelson) canta uma interpretação, com “Pete” (John Turturro) a fazer yodeling entre os versos, antes do número principal dos Soggy Bottom Boys, “Man of Constant Sorrow”. As outras músicas dos “Soggy Bottom Boys” são sincronizadas com os lábios, mas Tim Blake Nelson canta seus próprios vocais nesta música, enquanto o yodeling de Turturro é na verdade interpretado por Pat Enright da Nashville Bluegrass Band.
Em 1979, a música foi feita em uma performance de blackface no musical One Mo’ Time de Vernel Bagneris. O musical foi reavivado na Broadway em 2002. A versão da música usada no show foi a mesma gravada pelas Louisville Jug Bands nos anos 1920.
Brad Paisley usou o refrão para o final de “Mr. Policeman”, uma música do seu álbum 5th Gear de 2007. Novas letras foram escritas para dar um final à história da canção.