С 17 августа 1937 года по 22 марта 1940 года, согласно справке от 4 апреля 1940 года, содержался во внутренней тюрьме УГБ при НКВД по Ленинградской области на Шпалерной улице. По рассказам жены маршала Казакова, Рокоссовский подвергался пыткам. В этих пытках принимал участие начальник Ленинградского УНКВД Заковский. Рокоссовскому выбили несколько зубов, сломали три ребра, молотком били по пальцам ног, а в 1939 году его выводили во двор тюрьмы на расстрел и давали холостой выстрел. Однако Рокоссовский не дал ложных показаний ни на себя, ни на других. По рассказу правнучки, в своих записях отметил, что враг посеял сомнения и обманул партию – это привело к арестам невиновных. По сведениям полковника юстиции Климина Ф. А., бывшего в числе трех судей Военной коллегии ВС СССР разбиравших дело Рокоссовского, в марте 1939 года состоялся суд, но все свидетели, давшие показания, уже были мертвы. Рассмотрение дела было отложено на доследование, осенью 1939 года состоялось второе заседание, также отложившее вынесение приговора. По некоторым предположениям, Рокоссовский был этапирован в лагерь. Есть версия, что все это время Рокоссовский находился в Испании в качестве военного эмиссара под псевдонимом, предположительно, Мигель Мартинес (из «Испанского дневника» М. Е. Кольцова).

22 марта 1940 года был освобожден в связи с прекращением дела, при ходатайстве С. К. Тимошенко к И. В. Сталину, и реабилитирован. К. К. Рокоссовского полностью восстанавливают в правах, в красноармейской должности и в партии, весну проводит с семьей на курорте в Сочи. В том же году с введением генеральских званий в РККА ему присваивается звание «генерал-майор». Снова командует 5-м кавалерийским корпусом.

Корпус переводился в Киевский особый военный округ, чтобы участвовать в операциях в Бессарабии. На Украине под руководством Жукова уже было тайно создано полевое управление Южного фронта.

26 июня 40-го года Молотов предъявил Румынии ультиматум, после чего немедленно позвонил Риббентропу. По рекомендации рейха румынское правительство приказало своим войскам отойти к новой границе.

28 июня танковые и кавалерийские части перешли границы. Почти все население Бессарабии и Северной Буковины снялось с мест и устремилось на Запад. Тогда для перехвата беженцев были сброшены парашютные части, не пропускавшие спасающихся людей в Румынию и разворачивавшие их обратно.

Позднее Константин Рокоссовский писал: «Опыт, приобретенный в дни этого похода, был очень полезен. Мы, командиры, старались опираться на него, организуя боевую подготовку войск».

Опыта надо было набираться незамедлительно, так как в июле 40-го года, начальник штаба 18-й армии вермахта Эрих Маркс получил от Йодля задание: разработать идею военной кампании против СССР.

Войну с Германией Рокоссовский встретил, по-прежнему командуя 5-м корпусом, который из кавалерийского превратился в танковый.

Корпус сражался под Дубно-Луцком-Бродами. Несмотря на некомплект танков и транспорта, войска мехкорпуса в течение июня – июля 1941 года активной обороной изматывали противника, отступая только по приказу.

В тяжелейшие дни июля 1941 года К. К. Рокоссовский был назначен командующим оперативной группой, призванной предотвратить соединение танковых групп Гота и Гудериана к востоку от Смоленска. Ему выделили группу офицеров, радиостанцию и два автомобиля. Это и была его оперативная группа. Остальное он должен был добирать сам: останавливать и подчинять себе остатки 20-й и 16-й армий, выходивших из смоленского котла и удерживать этими силами коридор между Ярцево и Ельней, не позволяя танковым клиньям немцев сомкнуться.

Маршал вспоминал: «В штабе фронта я ознакомился с данными на 17 июля. Работники штаба не очень-то были уверены, что их материалы точно соответствуют действительности, поскольку с некоторыми армиями, в частности с 19-й и 22-й, не было связи. Поступили сведения о появлении в районе Ельни каких-то крупных танковых частей противника. Эта непростая задача была успешно решена. В короткое время собрали порядочное количество людей. Были здесь пехотинцы, артиллеристы, связисты, саперы, пулеметчики, минометчики, медицинские работники. В нашем распоряжении оказалось немало грузовиков. Они нам очень пригодились». Так началось в процессе боев формирование в районе Ярцево соединения, получившего официальное название «группа генерала Рокоссовского».

Позднее группа Рокоссовского была слита с понесшей тяжелые потери 16-й армией, а Рокоссовский был назначен командующим этой армии. 16-я армия, почти полностью состоявшая из бывших лагерников. До него этим соединением командовал генерал Лукин, тоже в свое время ставший жертвой сталинских чисток. Однако удельный вес танковых частей в его армии был одним из самых высоких в РККА.

16-я армия должна была прикрывать Волоколамское направление к Москве. Там сложилась особенно трагичная ситуация: советских войск не было, дорога на Москву была открыта, а большая часть войск 16 армии была либо переподчинена, либо находилась в окружении. К. К. Рокоссовский перехватывал войска на марше и, как мог, закрывал Волоколамское направление. В его распоряжение поступил отдельный курсантский полк, созданный на базе Московского пехотного училища им. Верховного Совета РСФСР, 316-я стрелковая дивизия генерал-майора И. В. Панфилова, 3-й кавалерийский корпус генерал-майора Л. М. Доватора. Вскоре под Москвой была восстановлена сплошная линия обороны, и завязались упорные бои.

Об этой битве Рокоссовский так написал 5 марта 1948 года: «В связи с прорывом обороны на участке 30-й армии и отхода частей 5-й армии, войска 16-й армии, сражаясь за каждый метр, в жестоких боях были оттеснены к Москве на рубеже: севернее Красная Поляна, Крюково, Истра, и на этом рубеже в жестоких боях окончательно остановили немецкое наступление, а затем перейдя в общее контрнаступление, совместно с другими армиями, проводимое по замыслу товарища Сталина, враг был разбит и отброшен далеко от Москвы».