Píseň se dočkala mnoha coververzí, nejčastěji ve verzi Jimmieho Rodgerse. Mezi umělce, kteří ji nazpívali, patří Tommy Duncan, Webb Pierce, Pink Anderson, Johnny Cash, Jim Jackson, Leon Russell, Mother McCree’s Uptown Jug Champions (s Jerrym Garciou), Merle Haggard, Doc Watson, Prism, Suzy Bogguss (s Chetem Atkinsem ) Pokey LaFarge a Tim Blake Nelson s The Soggy Bottom Boys ve filmu a soundtracku k filmu O Brother, Where Art Thou? Byla to také jedna z prvních písní, které se naučila dospívající Joan Baezová. Píseň se objevuje pod různými názvy včetně „He’s in the Jailhouse Now“ a některé verze používají v refrénu verš „She’s in the graveyard now“.

Před rokem 1930 bylo nahráno několik různých verzí této písně, na které se vztahují autorská práva. Nejstarší je verze Davise a Stafforda z roku 1915, která obsahuje verše o muži jménem Campbell podvádějícím při karetní hře a zkorumpovaných volbách. V roce 1924 ji Whistler’s Jug Band z Louisville v Kentucky nahrál pod názvem „Jail House Blues“, což byl stejný název jako slavná bluesová melodie Bessie Smithové, ale ve skutečnosti šlo o stejnou píseň jako „In the Jailhouse Now“.

V roce 1927 pořídil Earl McDonald’s Original Louisville Jug Band další nahrávku této písně. Před Rodgersem nahráli píseň také dva afroameričtí bluesmani: Blind Blake (v roce 1927) a Jim Jackson (v lednu 1928). Jackson také získal autorská práva k písni dříve než Rodgers. A konečně v roce 1930 ji nahrála skupina Memphis Sheiks (pseudonym pro Memphis Jug Band) ve verzi, o které badatelé často tvrdí, i když mylně, že je coververzí Jimmieho Rodgerse. Verze melodie a textu, kterou použili, je zjevně odvozena z vystoupení Louisville Jug Bandu, nikoliv Rodgerse. Na některých nahrávkách Memphis Sheiks je jako autor písně uveden afroamerický vaudevillový umělec Bert Murphy.

Krátce po Rodgersově nahrávce se objevily další tři verze, které rozhodně nebyly Rodgersovými covery. Boyd Senter a jeho Senterpedes natočili jazzovou verzi v roce 1929 pro Victor Records (vydanou na č. 22010 a později znovu vydanou na Bluebird Records č. 5545); Gene Kardos a jeho orchestr natočili jazzovou verzi také v roce 1932 pro Victor; a Billy Mitchell natočil verzi pro stride piano a shouter v roce 1936 pro značku Bluebird.

Po Rodgersovi byl nejznámější verzí písně Webb Pierce, který s ní měl v roce 1955 countryový hit číslo 1. Piercova verze strávila na prvním místě country žebříčku Billboard 21 týdnů a stala se tak třetí písní v historii žebříčku, která v něm strávila tak dlouho; předtím se to podařilo Eddy Arnoldovi („I’ll Hold You in My Heart (Till I Can Hold You in My Arms)“, 1947) a Hanku Snowovi („I’m Movin‘ On“, 1950). Tyto tři písně držely 58 let rekord v počtu týdnů na prvním místě (21 týdnů), přičemž na začátku 60. let se tomuto rekordu přiblížila jen hrstka písní, které se mu vyrovnaly na měsíc. Nakonec 10. srpna 2013 skladba „Cruise“ od skupiny Florida Georgia Line překonala Pierceovu „In the Jailhouse Now“ v počtu týdnů na prvním místě, když strávila 22. týden na prvním místě.

Když Johnny Cash nahrál tuto píseň v roce 1962, použil humornější text vycházející z verze z roku 1915; poté, co je Campbell zavřen, jeho žena Sadie udržuje poměr se šerifem. Cash se tuto verzi naučil od afroamerických hudebníků z jug bandu v Memphisu. Přesto většina autorů tvrdí, že Cash coveroval píseň Jimmieho Rodgerse, což dále zamlžuje, že píseň vznikla u afroamerických interpretů a po mnoho desetiletí se udržovala při životě ve vaudevillové a jug bandové tradici.

Píseň si po letech znovu získala popularitu, když Sonny James nahrál živou verzi během koncertu v roce 1976 ve státní věznici Tennessee. Jamesova verze obsahovala doprovod kapely Tennessee State Prison Band a v roce 1977 se dostala na 15. místo žebříčku Hot Country Singles.

Verzi Jimmieho Rodgerse nazpíval Gene Autry ve svém filmu „Zpátky v sedle“ z roku 1941.

V pořadu O Brother, Where Art Thou? „Delmar“ (Tim Blake Nelson) zpívá interpretaci, přičemž „Pete“ (John Turturro) jódluje mezi slokami, před hlavním číslem Soggy Bottom Boys, „Man of Constant Sorrow“. Ostatní písně „Soggy Bottom Boys“ jsou synchronizované se rty, ale Tim Blake Nelson v této písni zpívá své vlastní vokály, zatímco Turturrovo jódlování ve skutečnosti předvádí Pat Enright z Nashville Bluegrass Bandu.

V roce 1979 byla píseň provedena v blackface provedení v muzikálu One Mo‘ Time Vernela Bagnerise. Muzikál byl v roce 2002 obnoven na Broadwayi. Verze písně použitá v představení byla stejná jako ta, kterou nahráli Louisville Jug Bands ve 20. letech 20. století.

Brad Paisley použil refrén na závěr písně „Mr. Policeman“ na svém albu 5th Gear z roku 2007. Nový text byl napsán tak, aby poskytl závěr příběhu písně.