Но после 1562 года его имя вдруг исчезает из разрядной книги. Измена князей Вишневецкого и Вельского привела к многочисленным опалам. Пострадали и князья Воротынские, они были отозваны с южной границы и заключены под стражу, вотчины их конфискованы. Александра Воротынского сослали в заволжский город Галич, «в тын», а Михаила Воротынского с семьей – в Белоозеро. Опальному «большому воеводе» было разрешено взять с собой только двенадцать слуг и столько же «черных мужиков» и «женок». Возможно, сыграла роль и близость Михаила Воротынского к Алексею Адашеву, возглавлявшему правительство «избранной рады»: падение правителя тяжело отразилось на судьбе его друзей и сторонников.

Впрочем, содержался в ссылке Михаил Воротынский в довольно хороших условиях, ему ежегодно отпускалось из казны около ста рублей, сумма по тем временам весьма значительная. В 1565 голу Михаил Воротынский получил только в счет «недодачи» за прошлый год три ведра рейнского вина, двести лимонов, несколько пудов изюма, тридцать аршин «бурской» тафты и другое добро. И, тем не менее, ссылка была тяжелым испытанием для Воротынского, потому что она означала отлучение от ратных дел, составлявших смысл жизни прославленного полководца…

К счастью, опала продолжалась недолго. Осенью 1565 года в разрядной книге появилась запись о новом назначении Михаила Воротынского и назначении высоком: «Сентября в 15 день царь и великий князь приговорил с боярами для бережения от воинских людей» быть «боярину и воеводе князю Михаилу Ивановичу Воротынскому», причем имя воеводы стояло в «росписи» вторым после двоюродного брата царя князя Владимира Андреевича, а сам он был поставлен воеводой большого полка. Ему возвратили Одоевский удел. Перед Земским собором 1566 года Воротынский вместе с князьями Мстиславским и Вельским официально руководил Боярской думой.

Возвращение Михаила Воротынского не было случайным. В 1567 году Крым и Польша заключили военный союз. Турецкий султан готовился оказать крымскому хану прямую военную помощь, планировал совместный поход на Астрахань, присоединенную к Российскому государству. Советский историк А. А. Новосельский, автор большого исследования о борьбе России с Крымом, считает, что во второй половине шестидесятых годов центр тяжести войны совершенно явно был перенесен на южный и восточный фронт. Без такого опытного воеводы, как Михаил Воротынский, на «крымской украине» было трудно обойтись.

1567 год застал Михаила Воротынского в Серпухове воеводой полка правой руки. Трехтысячная крымская орда пришла тогда на «московские украины», ограбила Северскую землю. В 1568 году Михаил Воротынский снова в Серпухове воеводой передового полка. В летней кампании этого года ему отводилась ведущая роль. В разрядной книге записано, что в случае, если «царь или царевичи учнут которые украины воевать», то против них «за реку итти боярину и воеводе князю Михаилу Ивановичу Воротынскому с товарищами по полкам», причем самому Воротынскому быть в большом полку.

Воевода Михаил Воротынский снова возглавил оборону южной границы.

1569 год принес новые военные тревоги. Семнадцатитысячная турецкая армия при ста тяжелых пушках, с многочисленными отрядами крымцев и ногайцев (их собралось до сорока тысяч человек) двинулась на Астрахань. Но все приступы турок были отбиты, «янычары с пушками» с позором отступили, немногим из них удалось вернуться в Азов. Астраханский поход провалился.

Весной 1570 года пятидесятитысячная крымская орда подступала к Рязани и Кашире. С большим трудом ее удалось отогнать и отбить полон. Михаил Воротынский находился сначала в Серпухове, затем, когда Иван Грозный «велел итти с Москвы на берег большим воеводам», в Коломне, а когда царь сам выступил в поход, «князь Михаила Иванович Воротынский с товарищами были у государя же в Серпухове».

Царский поход в Серпухов был вызван многочисленными «вестями» станичников, сообщавших, что хан с большими силами двигается к «украине», и Иван Грозный решил «искать прямого дела», то есть разгромить крымцев в решительном сражении. Для этого ему пришлось отложить уже подготовленный поход на Ревель. Время шло, а крымские татары не появлялись. А тут еще путивльский наместник Петр Татев прислал «грамоту», что по его поручению сторожевые казаки ездили в Дикое Поле и не обнаружили даже следов крымской конницы.

В Серпухове собрали военный совет, который пришел к грустному выводу (решение совета сохранилось в разрядной книге): «Царю и великому князю самому и сыну его царевичу Ивану стоять в Серпухове нечего для того, что про царя и про царевичей и про больших людей все станичники во всех местах, где, сказали, видели людей и по сакме смечали до тридцати тысяч, то солгали…»

Случай был чрезвычайный, и отнестись к нему следовало со всей серьезностью – сторожевая служба явно не справилась со своей задачей. Требовалась ее коренная реорганизация, что и было поручено самому опытному «воеводе от поля», руководителю всей обороны «крымской украины» князю Михаилу Воротынскому.