La canción ha sido versionada muchas veces, siendo la más frecuente la de Jimmie Rodgers. Entre los artistas que la han cantado se encuentran Tommy Duncan, Webb Pierce, Pink Anderson, Johnny Cash, Jim Jackson, Leon Russell, Mother McCree’s Uptown Jug Champions (con Jerry García), Merle Haggard, Doc Watson, Prism, Suzy Bogguss (con Chet Atkins ) Pokey LaFarge, y Tim Blake Nelson con The Soggy Bottom Boys en la película y banda sonora de O Brother, Where Art Thou? También fue una de las primeras canciones que aprendió una Joan Baez adolescente. La canción aparece bajo diferentes títulos, incluyendo «He’s in the Jailhouse Now», y algunas versiones utilizan la línea «She’s in the graveyard now» en el estribillo.
Antes de 1930, se grabaron y registraron varias versiones diferentes de la misma. La primera es la versión de Davis y Stafford de 1915, que tiene versos sobre un hombre llamado Campbell que hace trampa en un juego de cartas y una elección corrupta. En 1924, la Whistler’s Jug Band de Louisville, Kentucky, la grabó con el título «Jail House Blues», que era el mismo título que una famosa melodía de blues de Bessie Smith pero que, de hecho, era la misma canción que «In the Jailhouse Now».
En 1927, la Earl McDonald’s Original Louisville Jug Band hizo otra grabación de la canción. Dos bluesmen afroamericanos también grabaron la canción antes que Rodgers: Blind Blake (en 1927), y Jim Jackson (en enero de 1928). Jackson también registró los derechos de autor de la canción antes que Rodgers. Finalmente, en 1930, los Memphis Sheiks (seudónimo de la Memphis Jug Band) la grabaron en una versión que los estudiosos han afirmado a menudo, aunque erróneamente, que era una versión de Jimmie Rodgers. La versión de la melodía y la letra que utilizaron procede claramente de las actuaciones de la Louisville Jug Band, no de Rodgers. En algunos de los discos de los Memphis Sheiks, un artista de vodevil afroamericano llamado Bert Murphy se atribuye el mérito de haber escrito la canción.
Poco después de que Rodgers grabara la canción, aparecieron otras tres versiones que decididamente no eran versiones de Rodgers. Boyd Senter y sus Senterpedes hicieron una versión de jazz en 1929 para Victor Records (publicada en el #22010, y posteriormente reeditada en Bluebird Records #5545); Gene Kardos y su Orquesta también hicieron una versión de jazz en 1932 para Victor; y Billy Mitchell hizo una versión de stride piano y shouter en 1936 para el sello Bluebird.
Después de Rodgers, la versión más conocida de la canción fue la de Webb Pierce, que tuvo un éxito country número 1 con la canción en 1955. La versión de Pierce permaneció en el número 1 de la lista de éxitos country de Billboard durante 21 semanas, convirtiéndose en la tercera canción de la historia en permanecer tanto tiempo en la lista; anteriormente, Eddy Arnold («I’ll Hold You in My Heart (Till I Can Hold You in My Arms)», 1947) y Hank Snow («I’m Movin’ On», 1950) lograron la hazaña. Durante 58 años, esas tres canciones ostentaron el récord de longevidad de mayor número de semanas en el número 1, con 21 semanas, y sólo un puñado de canciones estuvieron a un mes de igualar el récord a principios de la década de 1960. Finalmente, el 10 de agosto de 2013, «Cruise» de Florida Georgia Line superó a «In the Jailhouse Now» de Pierce en cuanto a número de semanas en el nº 1, al pasar su 22ª semana en el nº 1.
Cuando Johnny Cash grabó la canción en 1962, utilizó una letra más humorística, basada en la versión de 1915; después de que Campbell sea encerrado, su esposa Sadie mantiene un romance con el sheriff. Cash aprendió esta versión de los músicos afroamericanos de la jug band de Memphis. A pesar de esto, la mayoría de los escritores afirman que Cash estaba versionando la canción de Jimmie Rodgers, lo que oscurece aún más que la canción se originó con los intérpretes afroamericanos y se mantuvo viva en una tradición de vodevil y banda de jarra durante muchas décadas.
La canción recuperó la popularidad años más tarde cuando Sonny James grabó una versión en vivo durante un concierto de 1976 en la prisión estatal de Tennessee. La versión de James incluía los coros de la Tennessee State Prison Band, y alcanzó el número 15 en la lista de Hot Country Singles en 1977.
La versión de Jimmie Rodgers fue cantada por Gene Autry en su película de 1941 «Back in the Saddle»
En O Brother, Where Art Thou? «Delmar» (Tim Blake Nelson) canta una versión, con «Pete» (John Turturro) cantando a la tirolesa entre los versos, antes del número principal de los Soggy Bottom Boys, «Man of Constant Sorrow». Las otras canciones de los «Soggy Bottom Boys» están sincronizadas con los labios, pero Tim Blake Nelson canta su propia voz en esta canción, mientras que el canto a la tirolesa de Turturro es interpretado por Pat Enright de la Nashville Bluegrass Band.
En 1979, la canción se interpretó con cara negra en el musical One Mo’ Time de Vernel Bagneris. El musical se reestrenó en Broadway en 2002. La versión de la canción utilizada en el espectáculo era la misma que la grabada por las Louisville Jug Bands en la década de 1920.
Brad Paisley utilizó el estribillo para el final de «Mr. Policeman», una canción de su álbum de 2007 5th Gear. Se escribió una nueva letra para dar un final a la historia de la canción.