A dalt sokszor feldolgozták, leggyakrabban Jimmie Rodgers verzióját. Olyan művészek énekelték, mint Tommy Duncan, Webb Pierce, Pink Anderson, Johnny Cash, Jim Jackson, Leon Russell, Mother McCree’s Uptown Jug Champions (Jerry Garcia közreműködésével), Merle Haggard, Doc Watson, Prism, Suzy Bogguss (Chet Atkinsszel ) Pokey LaFarge és Tim Blake Nelson a The Soggy Bottom Boys-szal az O Brother, Where Art Thou? című filmben és filmzenében. Ez volt az egyik első dal, amelyet a tizenéves Joan Baez megtanult. A dal különböző címeken bukkan fel, többek között “He’s in the Jailhouse Now” címmel, és egyes verziók a refrénben a “She’s in the graveyard now” sort használják.
1930 előtt több különböző változatát is felvették és szerzői joggal védték. A legkorábbi Davis és Stafford 1915-ös változata, amelynek versei egy Campbell nevű férfiról szólnak, aki csal a kártyajátékban és egy korrupt választásról. 1924-ben a Kentucky állambeli Louisville-ből származó Whistler’s Jug Band rögzítette a dalt “Jail House Blues” címmel, amely azonos volt Bessie Smith híres blues-dallamának címével, de valójában ugyanaz a dal volt, mint az “In the Jailhouse Now”.
1927-ben Earl McDonald’s Original Louisville Jug Band egy másik felvételt készített a dalról. Két afroamerikai bluesman is rögzítette a dalt Rodgers előtt: Blind Blake (1927-ben) és Jim Jackson (1928 januárjában). Jackson szintén Rodgers előtt szerzői jogot szerzett a dalra. Végül 1930-ban a Memphis Sheiks (a Memphis Jug Band álneve) rögzítette a dalt egy olyan változatban, amelyet a tudósok gyakran – bár tévesen – Jimmie Rodgers feldolgozásának tartanak. A dallam és a szöveg általuk használt változata egyértelműen a Louisville Jug Band előadásaiból származik, nem pedig Rodgersből. A Memphis Sheiks néhány lemezén egy Bert Murphy nevű afroamerikai vaudeville előadónak tulajdonítják a dal megírását.
Röviddel azután, hogy Rodgers rögzítette a dalt, három további verzió jelent meg, amelyek határozottan nem Rodgers feldolgozásai voltak. Boyd Senter és a Senterpedes 1929-ben készített egy jazzverziót a Victor Records számára (a 22010-es számon adták ki, majd később újra kiadták a Bluebird Records 5545-ös számán); Gene Kardos és zenekara 1932-ben szintén készített egy jazzverziót a Victor számára; Billy Mitchell pedig 1936-ban készített egy stride zongora és shouter változatot a Bluebird kiadó számára.
Rodgers után a dal legismertebb verziója Webb Pierce-é volt, aki 1955-ben első helyezett country slágert ért el a dallal. Pierce verziója 21 hétig töltötte az első helyet a Billboard country listáján, és ezzel a harmadik dal lett a lista történetében, amely ennyi időt töltött a listán; korábban Eddy Arnold (“I’ll Hold You in My Heart (Till I Can Hold You in My Arms)”, 1947) és Hank Snow (“I’m Movin’ On”, 1950) érte el ezt a teljesítményt. Ez a három dal 58 éven át tartotta a legtöbb héten át tartó listavezető pozíció rekordját (21 hét), és csak néhány dal jutott egy hónapon belül a rekordhoz az 1960-as évek elejéig. Végül 2013. augusztus 10-én a Florida Georgia Line “Cruise” című dala felülmúlta Pierce “In the Jailhouse Now” című dalát a legtöbb héten át tartó listavezetés tekintetében, amikor a 22. hetet töltötte az első helyen.
Amikor Johnny Cash 1962-ben rögzítette a dalt, egy humorosabb szöveget használt, az 1915-ös verzió alapján; miután Campbell lecsukják, a felesége, Sadie viszonyt folytat a seriffel. Cash ezt a változatot a memphisi afroamerikai jug band zenészektől tanulta. Ennek ellenére a legtöbb író azt állítja, hogy Cash Jimmie Rodgers dalát dolgozta fel, ami tovább homályosítja, hogy a dal afroamerikai előadóktól származik, és a vaudeville és a jug band hagyományai sok évtizeden át életben tartották.
A dal évekkel később újra népszerűvé vált, amikor Sonny James egy 1976-os, a Tennessee Állami Börtönben adott koncertjén élőben rögzítette a dalt. James verziója a Tennessee State Prison Band kíséretével készült, és 1977-ben a Hot Country Singles listán a 15. helyet érte el.
A Jimmie Rodgers-féle verziót Gene Autry énekelte az 1941-es “Back in the Saddle” című filmben.
Az O Brother, Where Art Thou? “Delmar” (Tim Blake Nelson) énekel egy feldolgozást, “Pete” (John Turturro) pedig jódlizik a versszakok között, a Soggy Bottom Boys fő száma, a “Man of Constant Sorrow” előtt. A többi “Soggy Bottom Boys” számot szájszinkronizálják, de Tim Blake Nelson ezen a számon saját vokálját énekli, míg Turturro jódliját valójában Pat Enright adja elő a Nashville Bluegrass Bandből.
1979-ben a dalt Vernel Bagneris One Mo’ Time című musicaljében egy blackface előadásban adták elő. A musicalt 2002-ben újították fel a Broadwayn. A dalnak a showban használt változata megegyezett azzal, amelyet a Louisville Jug Bands vett fel az 1920-as években.
Brad Paisley a 2007-es 5th Gear című albumán található “Mr. Policeman” című dal végén használta a refrént. Új szöveget írtak a dal történetének befejezéséhez.