Das Lied wurde vielfach gecovert, am häufigsten in der Version von Jimmie Rodgers. Zu den Künstlern, die es gesungen haben, gehören Tommy Duncan, Webb Pierce, Pink Anderson, Johnny Cash, Jim Jackson, Leon Russell, Mother McCree’s Uptown Jug Champions (mit Jerry Garcia), Merle Haggard, Doc Watson, Prism, Suzy Bogguss (mit Chet Atkins), Pokey LaFarge und Tim Blake Nelson mit The Soggy Bottom Boys im Film und Soundtrack zu O Brother, Where Art Thou? Es war auch eines der ersten Lieder, das die jugendliche Joan Baez lernte. Der Song taucht unter verschiedenen Titeln auf, darunter „He’s in the Jailhouse Now“, und einige Versionen verwenden die Zeile „She’s in the graveyard now“ im Refrain.
Vor 1930 wurden mehrere verschiedene Versionen des Songs aufgenommen und urheberrechtlich geschützt. Die früheste ist die Version von Davis und Stafford aus dem Jahr 1915, die Strophen über einen Mann namens Campbell, der bei einem Kartenspiel betrügt, und eine korrupte Wahl enthält. Im Jahr 1924 nahm die Whistler’s Jug Band aus Louisville, Kentucky, den Song unter dem Titel „Jail House Blues“ auf, der denselben Titel wie ein berühmtes Bluesstück von Bessie Smith trug, aber in Wirklichkeit derselbe Song war wie „In the Jailhouse Now“.
Im Jahr 1927 machte Earl McDonald’s Original Louisville Jug Band eine weitere Aufnahme des Songs. Zwei afroamerikanische Bluesmusiker nahmen den Song ebenfalls vor Rodgers auf: Blind Blake (im Jahr 1927) und Jim Jackson (im Januar 1928). Jackson ließ den Song auch vor Rodgers urheberrechtlich schützen. 1930 schließlich nahmen die Memphis Sheiks (ein Pseudonym für die Memphis Jug Band) den Song in einer Version auf, von der Wissenschaftler oft, wenn auch fälschlicherweise, behauptet haben, es handele sich um ein Cover von Jimmie Rodgers. Die Version der Melodie und des Textes, die sie verwendeten, stammt eindeutig von den Auftritten der Louisville Jug Band und nicht von Rodgers. Auf einigen Platten der Memphis Sheiks wird ein afroamerikanischer Varietékünstler namens Bert Murphy als Autor des Liedes genannt.
Kurz nachdem Rodgers das Lied aufgenommen hatte, erschienen drei weitere Versionen, die eindeutig keine Covers von Rodgers waren. Boyd Senter und seine Senterpedes machten 1929 eine Jazzversion für Victor Records (veröffentlicht auf #22010 und später wiederveröffentlicht auf Bluebird Records #5545); Gene Kardos und sein Orchester machten 1932 ebenfalls eine Jazzversion für Victor; und Billy Mitchell machte 1936 eine Stride-Piano- und Shouter-Version für das Bluebird-Label.
Nach Rodgers war die bekannteste Version des Liedes von Webb Pierce, der 1955 einen Nr.-1-Country-Hit mit dem Lied hatte. Pierces Version hielt sich 21 Wochen lang auf Platz 1 der Billboard-Country-Charts und war damit der dritte Song in der Geschichte der Charts, der sich so lange dort halten konnte. Zuvor hatten Eddy Arnold („I’ll Hold You in My Heart (Till I Can Hold You in My Arms)“, 1947) und Hank Snow („I’m Movin‘ On“, 1950) dieses Kunststück geschafft. 58 Jahre lang hielten diese drei Songs mit 21 Wochen den Langlebigkeitsrekord für die meisten Wochen auf Platz 1, wobei nur eine Handvoll Songs bis in die frühen 1960er Jahre hinein innerhalb eines Monats an diesen Rekord herankamen. Am 10. August 2013 schließlich übertraf „Cruise“ von Florida Georgia Line Pierce’s „In the Jailhouse Now“ für die meisten Wochen auf Platz 1, als es seine 22. Woche auf Platz 1 verbrachte.
Als Johnny Cash das Lied 1962 aufnahm, verwendete er einen humorvolleren Text, der auf der Version von 1915 basierte; nachdem Campbell eingesperrt wurde, hat seine Frau Sadie eine Affäre mit dem Sheriff. Cash lernte diese Version von den afro-amerikanischen Jug-Band-Musikern in Memphis. Trotzdem behaupten die meisten Autoren, dass Cash den Song von Jimmie Rodgers gecovert hat, was die Tatsache verschleiert, dass der Song ursprünglich von afroamerikanischen Interpreten stammt und in einer Vaudeville- und Jug-Band-Tradition über viele Jahrzehnte am Leben erhalten wurde.
Der Song erlangte Jahre später wieder an Popularität, als Sonny James 1976 bei einem Konzert im Tennessee State Prison eine Live-Version aufnahm. James‘ Version wurde von der Tennessee State Prison Band begleitet und erreichte 1977 Platz 15 der Hot Country Singles-Charts.
Die Version von Jimmie Rodgers wurde von Gene Autry in seinem Film „Back in the Saddle“ von 1941 gesungen.
In O Brother, Where Art Thou? singt „Delmar“ (Tim Blake Nelson) eine Version, bei der „Pete“ (John Turturro) zwischen den Strophen jodelt, bevor die Soggy Bottom Boys ihre Hauptnummer, „Man of Constant Sorrow“, anstimmen. Die anderen „Soggy Bottom Boys“-Songs sind lippensynchron, aber Tim Blake Nelson singt bei diesem Lied seinen eigenen Gesang, während Turturros Jodeln von Pat Enright von der Nashville Bluegrass Band vorgetragen wird.
Im Jahr 1979 wurde das Lied in einer Blackface-Aufführung in dem Musical One Mo‘ Time von Vernel Bagneris aufgeführt. Das Musical wurde 2002 am Broadway wiederaufgenommen. Die Version des Songs, die in der Show verwendet wurde, war die gleiche, die von den Louisville Jug Bands in den 1920er Jahren aufgenommen wurde.
Brad Paisley verwendete den Refrain für das Ende von „Mr. Policeman“, einem Song auf seinem 2007er Album 5th Gear. Ein neuer Text wurde geschrieben, um die Geschichte des Songs zu beenden.