Het nummer is vele malen gecoverd, het vaakst door Jimmie Rodgers’ versie. Artiesten die het hebben gezongen zijn o.a. Tommy Duncan, Webb Pierce, Pink Anderson, Johnny Cash, Jim Jackson, Leon Russell, Mother McCree’s Uptown Jug Champions (met Jerry Garcia), Merle Haggard, Doc Watson, Prism, Suzy Bogguss (met Chet Atkins ) Pokey LaFarge, en Tim Blake Nelson met The Soggy Bottom Boys in de film en soundtrack voor O Brother, Where Art Thou? Het was ook een van de eerste liedjes die een tiener Joan Baez leerde. Het lied komt voor onder verschillende titels waaronder “He’s in the Jailhouse Now,” en sommige versies gebruiken de regel “She’s in the graveyard now” in het refrein.
Vóór 1930 werden er verschillende versies van opgenomen en auteursrechtelijk beschermd. De vroegste is Davis and Stafford’s 1915 versie, met verzen over een man genaamd Campbell die vals speelt bij een kaartspel en een corrupte verkiezing. In 1924 nam Whistler’s Jug Band uit Louisville, Kentucky, het nummer op onder de titel “Jail House Blues,” wat dezelfde titel was als een beroemd bluesdeuntje van Bessie Smith, maar in feite hetzelfde liedje was als “In the Jailhouse Now”.
In 1927 maakte Earl McDonald’s Original Louisville Jug Band een andere opname van het liedje. Twee Afro-Amerikaanse bluesmannen namen het nummer ook op vóór Rodgers: Blind Blake (in 1927), en Jim Jackson (in januari 1928). Jackson nam het nummer ook eerder op dan Rodgers. Tenslotte, in 1930, namen de Memphis Sheiks (een pseudoniem voor de Memphis Jug Band) het lied op in een versie waarvan geleerden vaak hebben beweerd, zij het ten onrechte, dat het een cover was van Jimmie Rodgers. De versie van de melodie en tekst die zij gebruikten, is duidelijk afgeleid van de Louisville Jug Band uitvoeringen, niet van Rodgers. Op sommige platen van de Memphis Sheiks wordt een Afro-Amerikaanse vaudeville artiest genaamd Bert Murphy gecrediteerd voor het schrijven van het lied.
Kort nadat Rodgers het lied opnam, verschenen er nog drie versies die beslist geen covers van Rodgers waren. Boyd Senter en zijn Senterpedes maakten een jazz versie in 1929 voor Victor Records (uitgebracht op #22010, en later heruitgebracht op Bluebird Records #5545); Gene Kardos en zijn Orkest maakten ook een jazz versie in 1932 voor Victor; en Billy Mitchell maakte er een stride piano en shouter versie van in 1936 voor het Bluebird label.
Na Rodgers, was de bekendste versie van het nummer van Webb Pierce, die een nummer 1 country hit had met het nummer in 1955. Pierce’s versie stond 21 weken op nummer 1 in de Billboard country hitlijst, en werd daarmee de derde song in de geschiedenis van de hitlijst die zo lang in de hitlijst bleef staan; eerder behaalden Eddy Arnold (“I’ll Hold You in My Heart (Till I Can Hold You in My Arms),” 1947) en Hank Snow (“I’m Movin’ On,” 1950) deze prestatie. Deze drie nummers hielden 58 jaar lang het record voor de meeste weken op nummer 1 met 21 weken, met slechts een handvol nummers die binnen een maand het record konden evenaren tot in de vroege jaren 1960. Tot slot, op 10 augustus 2013, “Cruise” door Florida Georgia Line overtrof Pierce’s “In the Jailhouse Now” voor de meeste weken op nr. 1 toen het zijn 22e week op nr. 1 doorbracht.
Toen Johnny Cash het nummer in 1962 opnam, gebruikte hij een meer humoristische reeks teksten, gebaseerd op de versie uit 1915; nadat Campbell is opgesloten, gaat zijn vrouw Sadie een affaire aan met de sheriff. Cash leerde deze versie van de Afro-Amerikaanse jug band muzikanten in Memphis. Desondanks beweren de meeste schrijvers dat Cash het lied van Jimmie Rodgers coverde, wat verder verdoezelt dat het lied zijn oorsprong vond bij Afro-Amerikaanse artiesten en vele decennia lang levend werd gehouden in een vaudeville en jug band traditie.
Het lied werd jaren later weer populair toen Sonny James een live versie opnam tijdens een concert in 1976 in de Tennessee State Prison. James’ versie werd ondersteund door de Tennessee State Prison Band en bereikte in 1977 een hoogtepunt op nummer 15 in de Hot Country Singles chart.
De Jimmie Rodgers versie werd gezongen door Gene Autry in zijn film “Back in the Saddle” uit 1941.”
In O Brother, Where Art Thou? zingt “Delmar” (Tim Blake Nelson) een vertolking, met “Pete” (John Turturro) jodelend tussen de verzen, voorafgaand aan het hoofdnummer van de Soggy Bottom Boys, “Man of Constant Sorrow”. De andere “Soggy Bottom Boys” nummers zijn lipsynchroon, maar Tim Blake Nelson zingt zijn eigen vocalen op dit nummer, terwijl Turturro’s jodelen in feite wordt uitgevoerd door Pat Enright van de Nashville Bluegrass Band.
In 1979 werd het nummer gedaan in een blackface uitvoering in de musical One Mo’ Time door Vernel Bagneris. De musical werd in 2002 opnieuw op Broadway opgevoerd. De versie van het lied die in de show werd gebruikt was dezelfde als die welke door de Louisville Jug Bands in de jaren 1920 werd opgenomen.
Brad Paisley gebruikte het refrein voor het einde van “Mr. Policeman,” een lied op zijn album 5th Gear uit 2007. Nieuwe teksten werden geschreven om een einde te maken aan het verhaal van het lied.