Оказавшись в тюрьме, Рознер был настолько деморализован, что практически сразу подписал все, что от него требовали следователи. В частности, он признался, что хотел уехать через Польшу в Америку. А это придавало его делу уже другой, более серьезный оборот, поскольку Америка к тому времени из недавнего союзника превратилась во врага СССР, объявив «крестовый поход против коммунизма». В итоге музыканту предъявили обвинение в измене Родине.

Рознер пытался добиться смягчения своей участи, написав письмо министру госбезопасности Виктору Абакумову. В нем он писал: «Я докажу свою преданность на деле, а посему прошу помиловать меня или заменить мое заключение вольной ссылкой, где я смогу продолжать творческую работу на поприще советского государства».

Однако помилования Рознер так и не добился. Ему присудили десять лет и отправили в один из лагерей в Хабаровском крае. Его жена Рут получила пять лет высылки в казахстанские степи, в город Кокчетав. Что касается их дочери Эрики, которой шел пятый год, то ее забрала в Москву друг семьи Рознеров Дебора Сантатур.

И все же Рознеру повезло: его слава позволила ему устроиться в лагере на должность руководителя джаза 3-го отделения. Таким образом, даже в заключении он мог заниматься любимым делом. Причем, по злой иронии судьбы, в лагере Рознер чувствовал себя как музыкант даже более свободно, чем его коллеги, оставшиеся на свободе. Сей парадокс объяснялся просто. В те годы в стране была объявлена борьба с низкопоклонством перед Западом и все джазовые коллективы были переименованы в «эстрадные оркестры». Как шутил тогда со сцены Леонид Утесов: «Перед вами эстрадный оркестр – девичья фамилия джаз!» В джазовых коллективах запрещено было иметь аккордеоны, саксофоны, тромбоны, хотя эти инструменты продолжали существовать во всех симфонических и оперных оркестрах. Короче, для джаза тогда наступили трудные времена. А вот в лагерном оркестре Рознера этих нововведений не было и все оставалось как и раньше. Даже выступлений было не меньше – в квартал порядка 60 концертов. И единственным поводом к грусти был пейзаж за окном – колючая проволока и вышки с вертухаями. Но именно это обстоятельство сильнее всего и угнетало Рознера: играть в неволе для него было муке подобно.

Помог, как и раньше, Пономаренко. После смерти Сталина в марте 53-го он был назначен министром культуры СССР, и уже в июле Рознер был выпущен на свободу. Тот же Пономаренко «реабилитировал» джаз, и Рознер снова оказался во главе своего оркестра. Первым делом он отправился в Белоруссию, надеясь, что его оркестр восстановят в штатном составе филармонии. Но встретили его там весьма неласково. Один из тамошних чиновников не стал скрывать своих чувств и сказал Рознеру прямым текстом: «Что, опять будет жидовский оркестр?» В итоге несолоно хлебавши Рознер вернулся в Москву. А здесь его уже ждали с распростертыми объятиями в Мосэстраде, где сразу поняли, какие дивиденды может принести знаменитый оркестр. Как по мановению волшебной палочки у Рознера появилось все: деньги, база для репетиций, художники по костюмам, композиторы, оркестровщики. Все это позволило Рознеру довольно быстро создать новую программу, с которой коллектив вышел на публику. В этой программе один шлягер был краше другого. Одни названия чего стоили: «Сент-Луис блюз», «Караван», «1001 такт в ритме», «Очи черные», «Сказки Венского леса», «Бродяга» и др.

Между тем личная жизнь Рознера претерпела изменения. Когда он вернулся из лагеря, в Москве музыканта уже ждали его женщины: дочь Эрика и жена Рут, которую тоже освободили после смерти Сталина. Однако восьмилетняя разлука сделала свое дело – после нее супруги прожили вместе всего лишь пару месяцев. Все вышло случайно. В одну из ночей супруги решили рассказать друг другу обо всем, что произошло с ними за эти годы. Первым начал Рознер. Он поведал Рут, что в лагере его спасла от цинги танцовщица его оркестра Марина Бойко, с которой вскоре после этого он стал жить гражданским браком. У них родилась дочь Ира. Однако лагерный роман не имел продолжения, и в Москву Рознер вернулся полностью свободным человеком.

Выслушав мужа, Рут сказала, что прощает его. Прощает, поскольку у нее самой… случилась похожая история. Там, в Кокчетаве, она жила с польским врачом, тоже ссыльным и тоже одиноким. Но и их роман длился ровно до того момента, пока их не освободили. «А ты меня прощаешь?» – спросила Рут, закончив свой рассказ. И вот тут случилось неожиданное: вместо того чтобы сказать «да» и забыть об услышанном раз и навсегда, Рознер… накричал на свою жену, обвинив ее в неверности. А на ее справедливое замечание, что и он отнюдь не ангел, резко ответил: «Мужчины – другое дело!» В итоге Рут забрала дочь и уехала к маме, в Варшаву. А Рознер… вскоре нашел утешение в объятиях молоденькой танцовщицы своего оркестра Галины Ходес. Они поселились в кооперативной квартире в знаменитом угловом доме в Каретном ряду, где их соседями были Леонид Утесов, Борис Брунов, Мария Лукач, Александр Шуров, Николай Рыкунин, Борис Сичкин.

В 1954 году в оркестре появилась солистка – популярная певица Нина Дорда. Рознеру ее порекомендовал главный режиссер Мосэстрады Александр Конников, сказав, что в оркестре ресторана «Москва» поет замечательная девушка. Рознер нашел Дорду и уговорил ее перейти в его коллектив. Их первым совместным шлягером стала популярная «Песня про стилягу», в которой был бойкий припев: «Ты его, подружка, не ругай, может, он залетный попугай, может, когда маленьким он был, кто-то его на пол уронил…»

В 1956 году именно Рознер был приглашен Эльдаром Рязановым исполнять музыку к фильму «Карнавальная ночь». Песни в картине исполняли драматическая актриса Людмила Гурченко, а также солистки оркестра Рознера Инна Мясникова, Зоя Харабадзе, Роза Романовская и Элла Ольховская, которые чуть позже образовали два квартета: «Аккорд» и «Улыбка». А Гурченко после фантастического успеха фильма записала пластинку с этими песнями под аккомпанемент все того же оркестра Рознера.

В конце 50-х одна из песен Рознера и музыканта его оркестра Юрия Цейтлина под названием «Может быть» в исполнении Капитолины Лазаренко оказалась в эпицентре громкого скандала. А виновником случившегося стала одна известная певица Мосэстрады, которая то ли из зависти, то ли еще по какой-то причине накатала в «Правду» возмущенное письмо: мол, в оркестре Рознера певицы поют пошлые песни. По этому поводу в Мосэстраде было созвано собрание, на котором деятельность оркестра Рознера была разобрана по косточкам. К счастью, серьезных оргвыводов не последовало, но песню «Может быть» из репертуара изъяли. Зато ее успели выпустить на грампластинке, причем не только в Советском Союзе, но и в Польше, где она была очень популярна (там даже духи вышли под таким же названием).

Чуть позже случился еще один скандал, который едва не вынудил Рознера покинуть Россию. Это случилось ранней весной 1957 года, когда его оркестру запретили закрывать сезон на одной из самых популярных столичных концертных площадок – в летнем саду «Эрмитаж». Рознер психанул и заявил, что уезжает в Польшу. Сказал он это больше в сердцах, в душе, видимо, надеясь, что его бросятся отговаривать, умолять. А ему сказали: «Езжай!» И Рознер был уже готов уехать и вновь воссоединиться со своей бывшей женой. Но когда за несколько дней до отъезда он позвонил в Варшаву, чтобы предупредить Рут о своем приезде, та ему сообщила, что на днях вышла замуж. И Рознер остался в России.