На западе внимание Иоанна было постоянно обращено на немцев и литовцев. Замыслив быть государем всей Руси, он не считал псковские и новгородские дела чуждыми Москве. Немцы, нарушив девятилетнее перемирие, напади на псковские земли. Под предводительством князя Даниила Холмского русские воины прибыли в Псков. Слух о прибытии московской рати так напугал магистра Ливонского и епископа Дерптского, что они немедленно в 1474 г. прислали своих посланников для ведения переговоров о восстановлении мира: с Ливонией — на 25 лет, а с епископом Дерптским — на 30 лет. Холмский князь возвратился в Москву с честью и дарами от псковитян.

Дальновидная политика Иоанна хорошо просматривается в ордынских делах. Хан Казани не тревожил Русь. Иоанн старался дружить с крымским ханом Менгли-Гиреем. Крымский хан приветствовал предложение о дружбе и в ответ написал Иоанну ласковое письмо. Так началась длительная связь между этими государями, выгодная для обоих и еще более полезная для русских, ибо она ускорила гибель Золотой Орды и, отвлекая силы Польши, способствовала укреплению Руси. Великий русский князь и крымский хан обменялись послами. В 1475 г. генуэзские колонии в Крыму были захвачены турками, а крымские ханы попали в зависимость от турецкого султана.

В это время Ахмат еще именовался верховным властителем Золотой Орды и требовал с русских дани. Софья, женщина хитроумная, честолюбивая, не переставала воздействовать на своего супруга, настаивая на свержении татарского ига. В московском Кремле находился дом, где жили татарские послы, которые наблюдали за всеми действиями Иоанна и докладывали хану. Софья обратилась к жене хана и попросила этот дом для себя, а получив на то согласие, приказала дом сломать, и татарские послы остались без пристанища: в Кремль их больше не впускали. Иоанн уклонялся от войны с Ахматом, манил его обещаниями. Не исключено, что он платил еще небольшую дань. Ахмат требовал, чтобы Иоанн III прибыл к нему на поклон, но великий князь не спешил выполнять его указание.

В 1475 г. началось время заката новгородской вольности. В этом году Иоанн отправился лишь с одной дружиной к берегам Волхова. Великий князь был торжественно встречен новгородцами за 90 верст до города. За днями пиршества следовали дни суда. Жителя целых улиц через своих поверенных требовали защиты государя. Были закованы в цени главные виновники измены в пользу Литвы. Горожане дарили Иоанну богатые подарки. Наступил уже следующий год, а Иоанн все не уезжал в Москву. Никогда новгородцы не изъявляли такого усердия к великим князьям, хотя и проявлялось оно не от любви, а от страха. Иоанн то ласкал их, как государь может ласкать подданных, с видом милости и приветливого снисхождения, то наказывал. Новгородцы просили Иоанна оставить их древнее народное правление, но судьба этого правления была уже предрешена. В связи с неповиновением великий князь заточил в темницу шестерых знатнейших бояр Новгорода, что произвело самое горестное впечатление на горожан. Однако они молчали, изъявляя равнодушие.

Судебный правеж Иоанна Васильевича многим понравился. К нему в Москву толпами стали приходить новгородцы за правосудием. Со времен Рюрика на Руси не было такого: новгородцы не ездили судиться ни в Киев, ни во Владимир. А вот при Иоанне это произошло.

В 1477 г., найдя незначительный повод, Иоанн Васильевич послал в Новгород гонца с грамотой об объявлении войны. Медлительный в обдумывании важных замыслов, но скорый на их исполнение, великий князь или не действовал вообще, или действовал — решительно и смело, подключая все силы. Оставив столицу юному сыну, Иоанн 9 октября 1477 г., презирая трудности похода, пошел на Новгород. Между тем многие знатные новгородцы прибыли на службу в московский стан, псковитяне также приняли сторону Иоанна.

Город укрепился, но великому князю не хотелось кровопролития. Новгородские послы умоляли Иоанна о мире, они признали его уже государем, однако Иоанн хотел властвовать в Новгороде, как в Москве. Владыка Феофил, посадники и жители города согласились с требованиями Иоанна и просили его снять осаду с города, так как начались болезни. 10 января 1478 г. великий князь на Ярославовом подворье в Новгороде громко провозгласил «Прощаю, и буду отныне жаловать тебя, своего богомольца, и нашу отчизну, Великий Новгород». 15 января было провозглашено об отмене древнего вече. 20 января Иоанн отправил в Москву гонцов к своей матери (которая без него постриглась в инокини), к митрополиту и сыну с известием, «что он привел Великий Новгород во всю волю свою». 1 февраля под стражу взяли Марфу Борецкую с внуком. В Новгород из Москвы прислали наместников. Иоанн покинул Новгород и 5 марта прибыл в Москву. Вслед за ним привезли славный новгородский вечевой колокол и повесили его на колокольне Успенского собора, привезли также 300 возов с серебром, золотом, драгоценными камнями. Таким образом, Новгород был покорен.

Подчинив Новгород, Иоанн расширил владения Московского государства, теперь границы его простирались от Ладоги до Белого моря и далее до Уральского хребта.

В 1479 г. великий князь снова побывал в Новгороде и сменил там архиепископа — будто бы за тайную связь с Литвой. Началось принудительное переселение многих новгородских семей в другие районы страны. Одновременно на их место были посланы жители Москвы и других городов. Только Псков сохранял относительную свободу от Москвы, но он и не оспаривал власти государя над собой.

Довольный походом на Новгород, Иоанн Васильевич вскоре насладился и семейной радостью. У него от Софьи было уже три дочери — Елена, Феодосья и снова Елена. В 1478 г. родился сын Василий (Гавриил). После него семья пополнилась еще четырьмя сыновьями — Георгием, Дмитрием, Симеоном, Андреем и двумя дочерьми — Феодосьей и Евдокией.

Во времена Иоанна III, в 1480 г., была ликвидирована зависимость Руси от Золотой Орды, и могущество последней было окончательно подорвано.

Хан Орды Ахмат прислал послов требовать у великого князя дань, которую тот не вносил с 1472 г. Иоанн взял у них басму (образ татарского хана), разломал ее, с гневом бросил на землю и растоптал. После этого приказано было умертвить всех послов, кроме одного, которого отправили к Ахмату. Узнав об этом, хан вскипел яростью и начал собирать войска. Татары, договорившись с литовцами об одновременном нападении на Русь, немедленно двинулись к пределам Московского княжества.