Kappaletta on coveroitu useita kertoja, useimmiten Jimmie Rodgersin versio. Sitä ovat laulaneet muun muassa Tommy Duncan, Webb Pierce, Pink Anderson, Johnny Cash, Jim Jackson, Leon Russell, Mother McCree’s Uptown Jug Champions (mukana Jerry Garcia), Merle Haggard, Doc Watson, Prism, Suzy Bogguss (Chet Atkinsin kanssa ) Pokey LaFarge ja Tim Blake Nelson The Soggy Bottom Boys -yhtyeen kanssa elokuvassa ja soundtrackilla elokuvassa ja elokuvassa O Brother, Where Art Thou? Se oli myös yksi ensimmäisistä kappaleista, jotka teini-ikäinen Joan Baez oppi. Laulu esiintyy eri nimillä, kuten ”He’s in the Jailhouse Now”, ja joissakin versioissa käytetään kertosäkeessä repliikkiä ”She’s in the graveyard now”.
Ennen vuotta 1930 siitä äänitettiin useita eri versioita, joilla oli tekijänoikeudet. Varhaisin on Davisin ja Staffordin vuonna 1915 tekemä versio, jonka säkeistöt kertovat Campbell-nimisestä miehestä, joka huijaa korttipelissä, ja korruptoituneista vaaleista. Vuonna 1924 Whistler’s Jug Band Louisvillestä, Kentuckysta, levytti sen nimellä ”Jail House Blues”, joka oli sama kuin Bessie Smithin kuuluisan blues-kappaleen nimi, mutta oli itse asiassa sama kappale kuin ”In the Jailhouse Now”.
Vuonna 1927 Earl McDonald’s Original Louisville Jug Band levytti kappaleen uudelleen. Kaksi afroamerikkalaista bluesmiestä levytti kappaleen myös ennen Rodgersia: Blind Blake (vuonna 1927) ja Jim Jackson (tammikuussa 1928). Jackson myös suojasi kappaleen tekijänoikeudet ennen Rodgersia. Vuonna 1930 Memphis Sheiks (Memphis Jug Bandin salanimi) levytti kappaleen version, jota tutkijat ovat usein väittäneet, vaikkakin virheellisesti, Jimmie Rodgersin coveriksi. Heidän käyttämänsä versio melodiasta ja sanoista on selvästi peräisin Louisville Jug Bandin esityksistä, ei Rodgersin. Joillakin Memphis Sheikin levyillä laulun kirjoittajaksi mainitaan afroamerikkalainen vaudeville-esiintyjä nimeltä Bert Murphy.
Vähän sen jälkeen, kun Rodgers oli levyttänyt laulun, ilmestyi kolme uutta versiota, jotka eivät selvästikään olleet Rodgersin covereita. Boyd Senter ja hänen Senterpedes-orkesterinsa tekivät jazz-version vuonna 1929 Victor Recordsille (julkaistiin numerolla #22010 ja myöhemmin uudelleen Bluebird Recordsin numerolla #5545); Gene Kardos ja hänen orkesterinsa tekivät myös jazz-version vuonna 1932 Victorille; ja Billy Mitchell teki siitä stride-piano- ja shouter-version vuonna 1936 Bluebird-levymerkille.
Rodgersin jälkeen tunnetuimmaksi laulun versioksi nousi Webb Pierce, jolla oli kappaleella ykkössijan kantrihitti nro 1:ssä vuonna 1955. Piercen versio vietti Billboardin country-listan ykkösenä 21 viikkoa, ja siitä tuli kolmas kappale listan historiassa, joka vietti listalla yhtä kauan; aiemmin Eddy Arnold (”I’ll Hold You in My Heart (Till I Can Hold You in My Arms)”, 1947) ja Hank Snow (”I’m Movin’ On”, 1950) saavuttivat tämän saavutuksen. Nämä kolme kappaletta pitivät 58 vuoden ajan hallussaan 21 viikkoa kestäneen listaykköseksi jäämisen ennätystä, ja vain kourallinen kappaleita ylsi kuukauden sisällä ennätykseen 1960-luvun alussa. Lopulta 10. elokuuta 2013 Florida Georgia Linen ”Cruise” ohitti Piercen ”In the Jailhouse Now” -kappaleen eniten listaykkösenä olleiden viikkojen määrässä, kun se vietti 22. viikkonsa listaykkösenä.
Kun Johnny Cash levytti kappaleen vuonna 1962, hän käytti humoristisempia sanoituksia, jotka perustuivat vuoden 1915 versioon; Campbellin jouduttua lukkojen taakse hänen vaimonsa Sadie jatkaa suhdetta sheriffin kanssa. Cash oppi tämän version Memphisin afroamerikkalaisilta jug band -muusikoilta. Tästä huolimatta useimmat kirjoittajat väittävät, että Cash coveroi Jimmie Rodgersin laulua, mikä peittää entisestään sen, että laulu on peräisin afroamerikkalaisilta esiintyjiltä ja sitä pidettiin hengissä vaudeville- ja jug band -perinteessä vuosikymmeniä.
Laulu sai uudelleen suosiota vuosia myöhemmin, kun Sonny James levytti live-version vuoden 1976 konsertissa Tennesseen osavaltion vankilassa. Jamesin versiossa oli mukana Tennessee State Prison Band -yhtyeen tuki, ja se oli korkeimmillaan 15. sijalla Hot Country Singles -listalla vuonna 1977.
Jimmie Rodgersin version lauloi Gene Autry vuonna 1941 elokuvassaan Back in the Saddle.
Kappaleessa O Brother, Where Art Thou? ”Delmar” (Tim Blake Nelson) laulaa version, jossa ”Pete” (John Turturro) jodlaa säkeistöjen välissä ennen Soggy Bottom Boysin päänumeroa ”Man of Constant Sorrow”. Muut ”Soggy Bottom Boysin” kappaleet ovat huulisynkronoituja, mutta Tim Blake Nelson laulaa tässä kappaleessa oman laulunsa, kun taas Turturron jodlauksen esittää itse asiassa Pat Enright Nashville Bluegrass Band -yhtyeestä.
Vuonna 1979 laulu esitettiin mustanaamaisena Vernel Bagnerisin musikaalissa One Mo’ Time. Musikaali herätettiin henkiin Broadwaylla vuonna 2002. Esityksessä käytetty versio kappaleesta oli sama kuin Louisville Jug Bandin 1920-luvulla levyttämä versio.
Brad Paisley käytti kertosäettä vuonna 2007 ilmestyneen 5th Gear -albuminsa kappaleen ”Mr. Policeman” lopussa. Uudet sanat kirjoitettiin kappaleen tarinan päättämiseksi.