Album bylo nahráno během čtyř týdnů s rozpočtem zhruba 18 tisíc dolarů. Většinu financí poskytla nizozemská společnost Polygram na základě vyslechnutí provizorních nahrávek osmi písní, které vytvořil produkční tým Cashman & West. Smlouvu s PolyGramem zprostředkoval právník Phul Kurnit, který měl ve společnosti kontakt. Poté, co dokončené album odmítlo až 40 nahrávacích společností, se producenti Cashman a West setkali s Martym Kuppsem z ABC Records, který si následně poslechl nahrávku a přesvědčil vedoucího společnosti Jaye Laskera, aby s Crocem podepsal smlouvu.
Album strávilo na americké hitparádě 93 týdnů, což bylo déle než Croceho předchozí alba. Díky přesvědčivému výkonu posmrtně vydaného singlu „Time in a Bottle“ bylo album pět týdnů nejprodávanější nahrávkou v USA. Původně byly z alba vydané dva singly: titulní píseň „You Don't Mess Around with Jim“ a „Operator (That's Not the Way It Feels)“.
Album bylo 30. září 2008 vydáno na CD společností Rhino Flashbacks.