Село Андреевское в 1741 году пожаловано императрицей Елизаветой Михаилу Илларионовичу Воронцову за преданную службу и постоянную и безвозмездную помощь в бытность ее великой княжной. Кроме того, Михаил Илларионович Воронцов принимал активное участие в возведении на престол императрицы Елизаветы и был женат на кузине царицы Анне Скавронской.

Через брак породнился с царским домом и брат Михаила Илларионовича – Иван. Третий брат, Роман Илларионович, женившись на богатой купеческой дочери Марфе Сурминой, ссужавшей деньгами саму Елизавету, стал одним из богатейших людей России. Роман Илларионович Воронцов дослужился до звания генерал-аншефа. Он был не только наместником вверенных ему областей, но и первым Владимирским генерал-губернатором.

Строительство усадьбы, начатое Михаилом Илларионовичем, продолжил наследовавший ему сын, Роман Илларионович Воронцов. Родовое гнездо Роман Илларионович отстраивал с размахом, соответствовавшим деньгам и статусу семьи.

Был построен господский дом, началось строительство нового пятикупольного храма в честь святого апостола Андрея Первозванного с колокольней. Активное участие в обустройстве усадьбы приняли и дети Р. И. Воронцова. Правда, один из сыновей – Семен Романович, будучи назначен послом России в Англии, уехал из страны. И управление имением ложится на плечи Александра Илларионовича – тоже видного дипломата, сенатора, позже ставшего государственным канцлером и первым министром иностранных дел России. Фактически он руководил строительством еще при жизни отца, а после его кончины в 1783 году стал полноправным владельцем имения. Именно Александр Романович, который с 1772 года управляет имением, а с 1783 года становится владельцем усадьбы, занимается строительством и развитием усадьбы и имения наиболее активно, считая это своей «фамильной» родовой обязанностью. Действительно, отец финансировал строительство, но осуществлял его Александр Романович. Это происходило оттого, что отец долго не выделял своих уже взрослых сыновей, держал их на весьма умеренном жаловании, а сам получал доходы со всех имений. Сын его, как уже упоминалось, выдающийся политический деятель, один из образованнейших людей своего времени, канцлер Екатерины II, в 1792 году он уходит в отставку и целиком посвящает себя усадьбе и хозяйству.

В 70–80-е годы XVIII века – эпоху перехода от барокко к классицизму – и формируется окончательный облик усадьбы. «Андреевское» – настоящее детище графа Александра Романовича Воронцова, занимавшегося устройством усадьбы с 1770 года до самой смерти.

Именно в 1770 году личным архитектором Воронцовых становится Николай Петрович фон Берг (Берг, Фонберг, в разных документах его фамилия записывается по-разному, известно, правописание в то время было весьма свободным). По его проектам строятся усадьбы в Андреевском и Милете (а возможно, и в Мурине), церкви в Семеновском Костромской губернии и в Больших Апабухах Тамбовской губернии. Он получал в год 120 рублей жалованья, на прогоны (т. е. на проезд) и продукты к столу. С назначением в 1778 году Романа Илларионовича наместником Владимирской, Пензенской, Рязанской и Тамбовской губерний Николай Петрович становится Владимирским губернским архитектором. Кстати, именно он является автором первого регулярного плана застройки Владимира. Последний раз его имя упоминается в связи с приездом в «Андреевское» в 1792 году. Возможно, его отцом был Петр Иванович Берг, землемер владимирской губернской палаты, о повышении чина которого в 1782 году самолично хлопотал Роман Илларионович. Более подробных сведений об архитекторе найти не удалось.

Александр Романович по его проекту перестроил господский дом, превратив его в грандиозный дворец в форме замкнутого каре. Возвел «каменные людские покои и служебные избы», амбары, кузницы, каменные скотный и конный дворы, каретные сараи, ледники, винный погреб, помещение театра… Наличие своего театра «показывало» просвещенность знати того времени, и существовало даже негласное соревновательство, чей театр лучше.

Труппа театра состояла из крепостных и соперничала в известности с театром Шереметевых в Останкине. А театр Шереметева был одним из самых известных в России. Истории известен не только театр Шереметевых, но и удивительная история любви графа Шереметева и крепостной актрисы Прасковьи Жемчуговой.

Усилиями и заботами Воронцова и его архитектора в глубине Владимирской губернии появилась престижная дворцово-парковая резиденция без привычных въездных аллей, открытого парадного двора с разъездным в центре партером, соединившая старые русские традиции с новыми веяниями в архитектуре и паркостроении, отвечавшая характеру и потребностям владельца. Усадьба удобно расположилась в междуречье речек Пекши и Нергили, на обособленном участке в виде полуострова, тянущегося с севера-востока на юго-запад вдоль прихотливо изгибающейся Нергили, на правом ее берегу. Здесь, на возвышении, напротив села Андреевского, расположенного на левом берегу Нергили, и построили каменную домовую церковь, на которую была ориентирована въездная улица – Торговая.

Вдоль его северной границы была проложена вторая – Слободская – улица, ведущая от дворца к реке Нергиль.

Напротив сада шла поперечная, третья – Неугодовская – улица, с западной ее стороны построили конный двор. На восточной создали хозяйственную зону со скотным и птичьим дворами, непременным атрибутом барской усадьбы, и слободой служителей и мастеровых. Несколько запоздалое обращение архитектора к раннему барокко объясняется тем, что здесь уже стоял двухэтажный каменный усадебный дом, а в начале 1770-х гг. лишь надстраивали третий этаж и пристраивали к зданию служебные флигеля и надвратную башню, образовавшие традиционный «красный» (дворцовый) внутренний двор.