Piosenka ta była wielokrotnie coverowana, najczęściej w wersji Jimmiego Rodgersa. Artyści, którzy ją śpiewali, to między innymi Tommy Duncan, Webb Pierce, Pink Anderson, Johnny Cash, Jim Jackson, Leon Russell, Mother McCree’s Uptown Jug Champions (z udziałem Jerry’ego Garcii), Merle Haggard, Doc Watson, Prism, Suzy Bogguss (z Chetem Atkinsem) Pokey LaFarge oraz Tim Blake Nelson z The Soggy Bottom Boys w filmie i ścieżce dźwiękowej do O Brother, Where Art Thou? Była to również jedna z pierwszych piosenek, których nauczyła się nastoletnia Joan Baez. Piosenka pojawia się pod różnymi tytułami, w tym „He’s in the Jailhouse Now”, a niektóre wersje używają linii „She’s in the graveyard now” w refrenie.
Prior to 1930, kilka różnych wersji zostało nagranych i chronionych prawem autorskim. Najwcześniejsza jest wersja Davisa i Stafforda z 1915 roku, która ma wersy o człowieku o imieniu Campbell oszukującym w grze w karty i skorumpowanych wyborach. W 1924 roku Whistler’s Jug Band z Louisville, Kentucky, nagrał ją pod tytułem „Jail House Blues”, który był takim samym tytułem jak słynna bluesowa melodia Bessie Smith, ale w rzeczywistości był to ten sam utwór co „In the Jailhouse Now”.
W 1927 roku Earl McDonald’s Original Louisville Jug Band dokonał kolejnego nagrania piosenki. Dwóch afroamerykańskich bluesmanów również nagrało tę piosenkę przed Rodgersem: Blind Blake (w 1927 roku), oraz Jim Jackson (w styczniu 1928 roku). Jackson również objął piosenkę prawami autorskimi przed Rodgersem. Wreszcie, w 1930 roku, Memphis Sheiks (pseudonim Memphis Jug Band) nagrali ją w wersji, która, jak często twierdzą badacze, choć błędnie, była coverem Jimmiego Rodgersa. Wersja melodii i tekstu, którą wykorzystali, wyraźnie wywodzi się z wykonań Louisville Jug Band, a nie Rodgersa. Na niektórych płytach Memphis Sheiks, afroamerykański wykonawca wodewilu o imieniu Bert Murphy otrzymuje kredyt za napisanie piosenki.
Krótko po tym, jak Rodgers nagrał piosenkę, pojawiły się trzy dodatkowe wersje, które zdecydowanie nie były coverami Rodgersa. Boyd Senter i jego Senterpedes zrobił wersję jazzową w 1929 roku dla Victor Records (wydane na #22010, a później wznowione na Bluebird Records #5545); Gene Kardos i jego orkiestra również zrobił wersję jazzową w 1932 roku dla Victor; i Billy Mitchell zrobił stride piano i shouter wersji tego w 1936 roku dla Bluebird label.
Po Rodgers, najbardziej znaną wersją piosenki był Webb Pierce, który miał nr 1 hit country z piosenką w 1955 roku. Wersja Pierce’a była numerem 1 na liście przebojów Billboardu przez 21 tygodni, stając się trzecią piosenką w historii listy przebojów, która utrzymywała się na niej tak długo; wcześniej wyczyn ten osiągnęli Eddy Arnold („I’ll Hold You in My Heart (Till I Can Hold You in My Arms)”, 1947) i Hank Snow („I’m Movin’ On”, 1950). Przez 58 lat te trzy utwory dzierżyły rekord długowieczności dla większości tygodni na pozycji nr 1 z 21 tygodniami, z zaledwie kilkoma piosenkami zbliżającymi się na miesiąc do wyrównania rekordu we wczesnych latach 60-tych. Wreszcie, 10 sierpnia 2013 roku, „Cruise” Florida Georgia Line przewyższył Pierce’a „In the Jailhouse Now” dla większości tygodni na nr 1, kiedy spędził 22. tydzień na nr 1.
Gdy Johnny Cash nagrał piosenkę w 1962 roku, użył bardziej humorystyczny zestaw tekstów, oparty na wersji z 1915 roku; po Campbell jest zamknięty, jego żona Sadie prowadzi romans z szeryfem. Cash nauczył się tej wersji od afroamerykańskich muzyków z jug bandu w Memphis. Mimo to większość autorów twierdzi, że Cash coverował piosenkę Jimmiego Rodgersa, co jeszcze bardziej zaciemnia fakt, że piosenka pochodzi od afroamerykańskich wykonawców i była utrzymywana przy życiu w tradycji wodewilu i jug bandów przez wiele dziesięcioleci.
Piosenka odzyskała popularność wiele lat później, kiedy Sonny James nagrał wersję na żywo podczas koncertu w 1976 roku w więzieniu stanowym Tennessee. James’ version included backing by the Tennessee State Prison Band, and peaked at No. 15 on the Hot Country Singles chart in 1977.
The Jimmie Rodgers version was sung by Gene Autry in his 1941 movie „Back in the Saddle.”
In O Brother, Where Art Thou? „Delmar” (Tim Blake Nelson) śpiewa renderowania, z „Pete” (John Turturro) jodłowania między wersami, przed Soggy Bottom Boys „główny numer, „Man of Constant Sorrow”. Inne piosenki „Soggy Bottom Boys” są lip-synched, ale Tim Blake Nelson śpiewa swoje własne wokale na tej piosence, podczas gdy Turturro jodłowanie jest rzeczywiście wykonywane przez Pat Enright z Nashville Bluegrass Band.
W 1979, piosenka została wykonana w czarnej wydajności twarzy w musicalu One Mo’ Time przez Vernel Bagneris. Musical został wznowiony na Broadwayu w 2002 roku. Wersja piosenki użytej w show była taka sama jak ta nagrana przez Louisville Jug Bands w latach dwudziestych.
Brad Paisley użył refrenu do zakończenia „Mr. Policeman,” piosenki na jego albumie 5th Gear z 2007 roku. Nowe słowa zostały napisane, aby zapewnić zakończenie historii piosenki.
.