この曲は何度もカバーされており、ジミー・ロジャースのバージョンが最も多く使われている。 トミー・ダンカン、ウェブ・ピアース、ピンク・アンダーソン、ジョニー・キャッシュ、ジム・ジャクソン、レオン・ラッセル、マザー・マクリーズ・アップタウン・ジャグ・チャンピオンズ（ジェリー・ガルシア参加）、マール・ハガード、ドック・ワトソン、プリズム、スージー・ボガス（チェット・アトキンス参加）ポーキー・ラファージ、映画『オー・ブラザー、どこへ行こうか』とサウンドトラックでザ・サギー・ボトムボーイズを歌ったティム・ブレイク・ネルソン等が歌ったことがある。 また、10代のジョーン・バエズが最初に覚えた曲の一つでもある。 この曲は「He’s in the Jailhouse Now」など異なるタイトルで登場し、コーラスで「She’s in the graveyard now」というフレーズを使うバージョンもある。
1930年より前に、いくつかの異なるバージョンが録音されて著作権が認められた。 最も古いのはデイヴィスとスタフォードの1915年のバージョンで、キャンベルという男がカードゲームで不正を働いたり、腐敗した選挙を描いた詩がある。 1924年には、ケンタッキー州ルイビルのウィスラーズ・ジャグ・バンドが「Jail House Blues」というタイトルで録音したが、これはベッシー・スミスの有名なブルース曲と同じタイトルで、実際は「In the Jailhouse Now」と同じ曲だった。
1927年には、アール・マクドナルドのオリジナル・ルイビルジャグバンドもこの曲を再録音している。 また、ロジャースより前に2人のアフリカ系アメリカ人のブルースマンがこの曲を録音している。 ブラインド・ブレイク（1927年）、ジム・ジャクソン（1928年1月）である。 ジャクソンはこの曲の著作権もロジャースより先に取得している。 最後に、1930年にメンフィス・シークス（メンフィス・ジャグ・バンドの偽名）がこの曲を録音したが、学者たちはしばしば、間違ってはいるが、ジミー・ロジャースのカバーであると主張してきた。 彼らが使用したメロディと歌詞のバージョンは、明らかにルイヴィル・ジャグ・バンドの演奏に由来するもので、ロジャースのものではありません。 メンフィス・シークスのいくつかのレコードでは、バート・マーフィーというアフリカ系アメリカ人のボードビル芸人がこの曲を作曲したとクレジットされている。
ロジャースがこの曲を録音したすぐ後に、明らかにロジャースのカバーではないバージョンが3つ登場した。 ボイド・センターと彼のセンターペデスは1929年にビクター・レコードからジャズ・バージョンを出し（#22010に収録、後にブルーバード・レコード#5545から再発）、ジーン・カードスと彼のオーケストラも1932年にビクターからジャズバージョンを出し、ビリー・ミチェルは1936年にブルーバードレーベルからストライドピアノとショーターのバージョンで出しています。 ピアースのバージョンはビルボード・カントリー・チャートで21週間1位を獲得し、チャート史上3番目の長期チャート入りを果たした曲となった。それ以前にはエディ・アーノルド（「I’ll Hold You in My Heart (Till I Can Hold You in My Arms)」1947）とハンク・スノー（「I’m Movin’ On」1950）がこの偉業を達成した。 58年間、この3曲は21週で1位の最多週数を記録し、1960年代初頭までこの記録に並ぶ曲は1ヶ月以内にほんの一握りしかなかった。 最後に、2013年8月10日にフロリダ・ジョージア・ラインの「クルーズ」が22週目に1位を獲得し、ピアースの「イン・ザ・ジェイルハウス・ナウ」を抜いて最多週1位となった。
1962年にジョニー・キャッシュがこの曲を録音したとき、彼は1915年のバージョンを基に、キャンベルが監禁された後、妻のセディが保安官と浮気をする、よりユーモアあふれる歌詞を使用した。 キャッシュはこのバージョンをメンフィスのアフリカ系アメリカ人ジャグバンド・ミュージシャンから学んだという。 それにもかかわらず、ほとんどの作家はキャッシュがジミー・ロジャースの曲をカバーしたと主張しているが、これはこの曲がアフリカ系アメリカ人のパフォーマーから生まれ、何十年にもわたってボードビルとジャグバンドの伝統の中で生き続けてきたことをさらにあいまいにしている。
ジミー・ロジャースのバージョンは、1941年の映画「バック・イン・ザ・サドル」でジーン・オートリーが歌っている。 “Delmar” (Tim Blake Nelson) は、Soggy Bottom Boys のメイン・ナンバー “Man of Constant Sorrow” の前に、”Pete” (John Turturro) が詩の間にヨーデルを歌いながら演奏しています。 他の「ソギー・ボトム・ボーイズ」の曲は口パクだが、この曲ではティム・ブレイク・ネルソンが自分のボーカルを歌い、タートゥーロのヨーデルは実際にはナッシュヴィル・ブルーグラス・バンドのパット・エンライトが演奏した。
1979年にバーネル・バーグネリスによるミュージカル「ワンモータイム」で黒塗りパフォーマンスとしてこの曲は演じられた。 このミュージカルは、2002年にブロードウェイで再演されました。
ブラッド・ペイズリーが2007年に発表したアルバム『5th Gear』に収録されている「Mr.Policeman」のエンディングでコーラスとして使用。 新しい歌詞は、この曲のストーリーの終わりを示すために書かれました。