Всего на замковых валах стояла 31 пушка. В арсеналах хранились 2 шмыговницы, 51 гаковница и мушкеты, а также более 3 тысяч ядер разного калибра, мушкетные пули. Что касается доспехов, то их в арсенале хранилось на 141 человека.

Весной 1660 г. войска воеводы И.А. Хованского, отходя от Бреста, осадили город и замок. Существует гравюра, хранящаяся в фондах Государственной публичной библиотеки имени М.Я. Салтыкова-Щедрина в Петербурге, которая так и называется "Осада Ляхович в 1660 г." 20 и 23 марта воевода дважды посылал на переговоры делегацию из дворян и полководцев с трубачом в замок, чтобы комендант и его подчиненные сдали укрепление. Однако комендант С. Юдицкий с гарнизоном и жителями города и окрестностей отказались капитулировать. Более того, они попросили воеводу Хованского, чтобы он больше не присылал делегаций. В замке тогда укрывался конный полк Романа Аскирки в 200 сабель, который был разделен на 5 хоругвей: самого полковника, хорунжих Ю. Корсака, Т. Храповицкого, Годлевского и Кошки. В каждой хоругви насчитывалось от 20 до 60 человек. Другой конный полк в 390 сабель возглавлял Флориан Слонский. Тут было 6 хоругвей, которые возглавляли К. Комаровский, Б. Лабуза, Ващинский, Юндилл и Госурейский. Отдельно числилась хоругвь драгунская в 30 коней. Основную массу обороняющихся составляли жители города и "мужики сбежь" — всего около 3,5 тысяч человек. В замке на тот период было 37 пушек, хлеба на год, много пороху и ядер, а вот с водой было плохо — колодезной, чистой воды не хватало.

Со стороны осаждающих имелись два приказа стрельцов общей численностью 2 тысячи человек — псковичи и новгородцы. Псковичей возглавлял "голова Афанасий Пустобояров", новгородцев — "голова Семен Голбухин и Семен Охлебаев". Кроме того, тут находились три рейторских полка численностью 1800 человек полковников Дениса Денисовича, Томаша Томашевича и Мартина Грейца. Были еще 4 полка перебежчиков: Виленский полк майора Ивана Федоровича (около 1000 человек), полк Артема и Ярема Валентиновичей (382 человека), полк Андрея Андриевича и полк Андрея Ивановича-Фароля и Тимофея Юревича (400 человек). Всего в марте 1660 г. в осаде и штурмах Ляховичского замка принимало участие войско, состоящее из 7 тысяч человек.

26 марта, "за полчаса до свету", начался всеобщий штурм. Вот что сообщалось об этом в отписке царю Алексею Михайловичу: штурм "… был жестоким обычаем до третьего часу дни, и литовских людей со стены сбили, и многие твои ратные люди были на стене; и волею Божиею а нашим согрешением, литовские люди справясь, твоих ратных людей со стен сбили, и твои ратные люди от города отошли". Кроме огнестрельного и холодного оружия обороняющиеся использовали камни и "катки" — большие бревна.

После неудачного штурма завязалась артиллерийская дуэль. Двенадцать батарей противника, взявши замок в кольцо, день и ночь "ломали город Ляховичи".

Осада замка стала затягиваться. Царь категорически запретил "ходить на приступы и штурмы", чтобы сохранить своих. Под прикрытием артиллерийского огня царские войска начали подводить шанцы к замку. Кроме того, вязали хворост и солому, чтобы поджечь деревянные строения замка, строили лестницы, загачивали рвы. На реке Ветьма была разрушена плотина. Уровень воды в оборонительных рвах резко упал, что открывало дорогу штурмовым колоннам с лестницами. Длина сооруженным лестниц достигала 20 м. Кроме того, была подготовлена переносная мост-лестница длиною около 35 м. На ее верхушке была устроена платформа со щитом, с которой можно было штурмовать стены.

К Хованскому, пока он обстреливал замок, постоянно подходила помощь. Прибыли три приказа московских стрельцов во главе с Лаврентием Пущенниковым, Тимофеем Полтычаевым и Иваном Жмадищиным (2000 человек); 10 полков прибыли из Могилева с воеводой Семеном Змеевым; 6 полков прибыли со Старого Быхова (1500 человек); 300 донских казаков; 100 коней витебских дворян; 115 коней Гелдина. Всего в конце мая под Ляховичами собралась армия больше 11 тысяч человек. На подходе было еще 2 тысячи.

Генеральный штурм Ляховичского замка начался 24 мая 1660 г. Как свидетельствуют документы, общие потери нападавших составили 2 тысячи человек. Много погибло и обороняющихся. Тем не менее, штурм захлебнулся.

Неудача нападающих привела к резкому падению морального духа царских войск, того, чего так боялся царь Алексей Михайлович. Люди начали разбегаться. Этому послужили еще и слухи о том, что на выручку осажденным в Ляховичском замке вышла мощная группировка войск под предводительством П. Сапеги, С. Чарнецкого, Полубинского и Кмитича. Хованский направил большую часть своего войска навстречу польско-литовской армии. И 18 июня в сорока верстах от Ляхович возле деревни Полонка произошла битва. Воевода Хованский потерпел сокрушительное поражение и начал спешно отступать к Полоцку. Осаждавшие даже вынуждены были оставить обоз возле замковых стен в Ляховичах.

В 1661 г. сейм Речи Посполитой, учитывая, какие беды принесла та осада, освободил город Ляховичи и волость от всех налогов на 9 лет. Однако это мало помогало восстановлению города и замка. Еще в 1703 г. Ляховичский замок не был приведен в должный порядок. Чтобы его пушки не достались шведам, начавшим Северную войну, их вывезли в Слуцкий замок, который был укреплен лучше.

Зимой 1706 г. война шла уже на территории Беларуси. Карл XII послал под Ляховичи отряд полковника Траутфетера, чтобы отбросить войска Петра I, закрепившиеся в городе. Казаки сожгли город, но не отступили — заперлись в замке. Осада замка опять затянулась. В марте 1706 г. на помощь Траутфетеру пришел полуторатысячный отряд конницы барона Кройца. Но и это шведам не помогло. Казаки совершали боевые вылазки из замка и наносили шведам значительный урон. Только 9 мая 1706 г, после почти полугодовой осады, когда кончились продукты и порох, гарнизон в 1360 казаков вынужден был сдать замок. Противнику в тот раз досталось 9 пушек.

В 1709 г. замок с русским гарнизоном дважды был в осаде войск польского короля Лещинского, которому помогал украинский гетман предатель Мазепа. Позже из замка приходилось выбивать самого Мазепу, когда к Ляховичам подошел отряд Григория Огинского.

В 1793 г., когда Ляховичи отошли к Российской империи, легендарный замок уже представлял собой романтические руины. Его строения стояли без крыш, стены были в трещинах и частично развалились. Целыми к тому времени оставались лишь въездная башня с флюгером и подъемный мост. Оборонительный водяной ров был уже заболочен.