Г. К. Жуков, в целом высоко отзывавшийся о полководческих качествах Конева, вынужден был отметить, что он «не находил себя в обороне». Конева, как до этого расстрелянного в начале войны генерала Павлова, ждала тяжелая участь. Комиссия Государственного Комитета Обороны во главе с В. М. Молотовым и К. Е. Ворошиловым должна была расследовать причины катастрофы. Но Жуков сумел отстоять его перед Сталиным, заявив, что «Конев умный человек и он еще пригодится». Жуков не ошибся. Мало кому из великих полководцев, как, например, Суворову, удавалось избежать серьезных неудач и поражений. Но величие и определяется умением извлекать уроки. Г. К. Жуков предложил оставить Конева заместителем командующего фронтом. Конев после неудач в Вяземской оборонительной операции сохранил самообладание, сделал для себя правильные выводы. Уже в середине октября 1941 года, возглавляя правофланговые объединения Западного фронта, он сумел разгромить прорвавшиеся к городу Калинину части 3-й танковой группы немцев и остановить их продвижение, сорвав тем самым планы противника по обходу Москвы с севера. Тогда Ставкой было принято решение о создании Калининского фронта, командующим войсками которого был назначен И. С. Конев.

Этим фронтом Конев командовал с октября 1941 по август 1942 года, участвовал в битве за Москву. Провел Калининскую оборонительную операцию и Калининскую наступательную операцию в ходе контрнаступления под Москвой против превосходящих сил противника. Несмотря на недостаток сил и средств, он скрытно сосредоточил основные усилия на направлениях наносимых ударов и прорвал оборону западнее и юго-западнее Калинина. Это оказалось настолько неожиданным для противника, что командующий германской 9-й армией под угрозой окружения был вынужден начать отвод своих войск.

С января 1942 года имя Конева тесно связано с тяжелейшей и малоудачной для советских войск Ржевской битвой, его войска участвовали в Ржевско-Вяземской операции 1942 года, потерпели новое поражение в Холм-Жирковской оборонительной операции.

С августа 1942 года по февраль 1943 года Конев снова командовал Западным фронтом и совместно с Г. К. Жуковым провёл исключительно кровопролитные Первую Ржевско-Сычёвскую операцию и операцию «Марс», в которых войска его фронта при огромных потерях добились лишь незначительного продвижения в несколько десятков километров. В феврале 1943 года также неудачно была проведена Жиздринская операция, после чего в начале марта Конев был снят с поста командующего Западным фронтом и назначен командовать гораздо менее важным Северо-Западным фронтом. Однако и там ему не удалось отличиться, войска этого фронта понесли тяжелые потери и не добились успеха в Старорусской операции.

Полководческий талант И. С. Конева наиболее убедительно и ярко проявился в наступательных операциях. Иван Степанович, по оценке Василевского, по настойчивости и силе воли был наиболее близок к Жукову. Он обладал на редкость хорошей интуицией, умело сочетал мощь артиллерии и авиации с быстротой, натиском и внезапностью удара. Зарубежные военные историки называют его «гением внезапности». Он стремился увидеть поле боя собственными глазами, тщательно готовил каждую операцию. Во второй половине войны большинство наступательных операций наших войск сопровождалось окружением и уничтожением крупных группировок противника, и многие полководцы в том преуспели. Но, видимо, наибольшим мастером этого дела был именно Конев. Задолго до Сталинградской операции он разглядел боязнь немцев оказаться в окружении и потом не раз умело использовал эту их слабость. При этом он стремился не ввязываться в затяжные бои в больших городах, обходными маневрами вынуждал противника покинуть город, что давало возможность уменьшить свои потери, не допустить больших разрушений и жертв среди мирного населения.

В июле 1943 года Конева назначили командующим войсками Степного фронта, во главе которого сумел добиться успехов в Курской битве. Проходившая в июле – августе 1943 года Курская битва вошла в историю как крупнейшее танковое сражение войны. Хотя Конев не играл в ней решающей роли, но в этой операции он проявил себя с самой лучшей стороны и вернул расположение Сталина. Части вверенного ему Степного фронта располагались за позициями двух других советских фронтов в качестве резерва. Конев практически не принимал участия в оборонительных боях в этом районе. А когда советские войска перешли в контрнаступление, его фронт поддерживал наступление других частей.

3 августа 1943 года Степной фронт нанес удар из района северо-западнее Белгорода в направлении Богодухов, Новая Водолага с целью рассечь на части войска группы армий «Юг» фельдмаршала Манштейна и отрезать пути их отхода от Харькова. Характерным для этой операции было то, что организация и перегруппировка войск производились не как обычно в стабильной обстановке в подготовительный период, а в ходе ожесточенных оборонительных сражений. Наступать приходилось против очень плотных группировок противника, созданных для ведения наступления и вынужденных перейти к обороне. Поэтому боевые действия отличались огромным напряжением и войска с большим трудом преодолевали ожесточенное сопротивление врага.

Обстановка требовала быстрейшего выхода к Днепру. Но окружение и уничтожение отдельных группировок противника не исключались. Конев и на этот раз не отказался от своей излюбленной формы оперативного маневра. Так, когда 13 августа 1943 года войска Степного фронта прорвали оборонительный рубеж противника на подступах к Харькову, командующий поставил задачу 53-й, 5-й гвардейской танковой и 7-й гвардейской армиям охватить город с запада, юго-запада, востока и юго-востока. Манштейн упорно сопротивлялся. Но, когда осталась лишь одна шоссейная и одна железная дорога на Мерефу и Красноград, германские войска дрогнули и начали покидать Харьков. Чтобы не допустить больших разрушений и нанести поражение отходящему противнику, Конев 22 августа отдал приказ на ночной штурм, ограничив при этом авиационные и артиллерийские удары по городу. На следующий день войска его фронта овладели Харьковом.

В сентябре 1943 года была освобождена Полтава, в октябре – Кременчуг, что вошло в рамки Полтавско-Кременчугской операции. В конце сентября 1943 года его армии с ходу форсировали Днепр. 26 августа 1943 года И. С. Коневу было присвоено воинское звание генерал армии. В октябре 1943 года Степной фронт был переименован в 2-й Украинский фронт, Конев остался его командующим и в октябре – декабре 1943 года провёл Пятихатскую и Знаменскую операцию, а в январе 1944 года – Кировоградскую операцию. В ходе проведения Кировоградской операции командующий войсками Степного фронта генерал армии Конев вновь совершил умелый маневр танковыми силами, которые во взаимодействии с общевойсковыми армиями окружили противника.