Удивительно, но даже смена монарха не оказала какого-то существенного изменения на положение и влияние князя при Дворе. Секрет «успеха» очень прост, князь Юсупов всегда много работал, регулярно покидал Петербург, занимался хозяйством и управлением своих земель и имений и старался не докучать императорской семье и лично Павлу Первому, но всегда оставался полезным и деятельным государственным чиновником, и приятным человеком в целом.

Во время пребывания в 1797 году в Петербурге бывшего польского короля Станислава Понятовского, амнистированного Павлом Первым, пригласившим посетить столицу, князь Юсупов стал сопровождающим своего старого знакомого, водил его в Эрмитаж, на шпалерные, зеркальные и фарфоровые мануфактуры, которые были под его управлением. В юсуповском архиве сохранилась короткая записка: «Князь Николай Борисович, Извольте взять Эрмитаж в свое ведение. Павел».

В 1799 году от Павла Первого Николай Борисович получил «право на родовое Командорство Ордена Святого Иоанна Иерусалимского, то есть мальтийский орден, магистром которого был сам император».

Павел Первый очень благоволил князю Юсупову и рассердился на него всего только один раз, за несколько часов до своей ужасной кончины. Князь Николай Борисович был в числе гостей императора в Михайловском замке в ту ночь, когда Павел был убит. Вечер проходил весело, ничто не предвещало ночного кошмара, и вдруг царь нахмурился: он сосчитал своих гостей, а их оказалось числом 13! Император помрачнел и вышел из-за стола. В зале было зеркало чудной работы, изготовленное на подмосковной фабрике князя Юсупова. В идеальной чистоте зеркале царь вдруг увидел свое искаженное воображение, и он отругал Юсупова, якобы за плохое качество изделия.

20 мая 1801 года указом императора Александра I Юсупов был назначен верховным маршалом предстоящей коронации и руководителем Коронационной комиссии, торжества проходили в Москве. «В самый день коронации ему были вручены алмазные знаки к ордену Св. Андрея Первозванного». Однако вскоре, как и многие придворные, входившие в ближайшее окружение императора Павла I, князь вышел в отставку по причине расстройства здоровья. К этому времени он имел чин действительного тайного советника, сенатора, был кавалером орденов Св. Владимира 1-й степени, св. Александра Невского, Св. Анны 1-й степени, Св. Иоанна Иерусалимского, Прусских Черного и Красного орла, Польских Св. Станислава и Белого орла. Современница князя Е. П. Янькова вспоминала, что «он имел все российские ордена, портрет государя, алмазный шифр, и когда не знали уже, чем его наградить, то была ему пожалована одна жемчужная эполета». После выхода в отставку Юсупов начинает энергично заниматься обустройством своих имений и вотчин.

Тайна. До сих пор остается загадкой все, что связано с внезапным появлением в феврале 1799 года в московском доме двух детей – Бориса Николаевича и Елизаветы Николаевны Ракитянских, происхождение которых и их родство между собой не установлены.

Детей привезли из слободы Ракитной и по распоряжению князя, который в то время был в Петербурге, поселили в «верхних барских покоях». Их воспитанием и образованием Юсупов занимался лично, и они пользовались всеми преимуществами детей из дворянских фамилий.

В ноябре 1805 года после длительной «легочной болезни» Борис Николаевич умер. Для князя это был страшный удар, от которого он смог оправиться лишь несколько месяцев спустя. Примечательно, что еще летом, когда у мальчика только появились первые признаки заболевания и об этом дали знать князю, находившемуся в Ракитной, он тотчас прервал свою поездку и возвратился в Москву.

Елизавета Николаевна продолжала жить в юсуповском доме, проводя летние месяцы в Спасском или Ракитной. Она получила неплохое по тем временам образование и в июле 1810 года вышла замуж за дворянина коллежского регистратора Александра Ивановича Фон-Вахтена. Все расходы на свадебные приготовления были оплачены Московской домовой канцелярии князя Юсупова. Тогда же в июле состоялось юридическое оформление «Доверенности», выданной Юсуповым Фон-Вахтену на управление княжескими вотчинами в Тульской и Орловской губерниях (Степные вотчины) и было оформлено пожизненное ежегодное содержание Елизаветы Николаевны в размере одной тысячи рублей. В качестве свадебного подарка невесте «с приказания Его Сиятельства было положено в сохранную кассу на приращение из 5 % от имени коллежской регистраторши Елизаветы Фон-Вахтен 5000 рублей».

С благословения князя новобрачные поселились в господском доме в маленьком и живописном уездном городке Епифани Тульской области, недалеко от села Робье (Орловская губерния), где находилось правление Степных вотчин князя Юсупова.

До конца своих дней Юсупов продолжал заботиться о Елизавете Николаевне и ее четырех сыновьях, которым положил ежегодный «пансион» по сто рублей каждому (с 1821 года по 400 рублей). После его смерти заботу об этой семье взял на себя его сын князь Борис Николаевич Юсупов.

В немногих сохранившихся письмах Елизаветы Фон-Вахтен она называет Князя Юсупова «отцом родным». «родителем», а его московский дом, в котором прошли ее детство и юность, именует не иначе, как «родительский дом» и «отеческий дом».

«Прекрасное Архангельское», – именно здесь торжество природы гармонично слилось с настоящим величием старой русской аристократии. Архангельскому было суждено стать достойным обрамлением для уникальных Юсупов ких коллекций. Договорившись полюбовно жить с нелюбимой женой раздельно, князь решает поселиться в Москве, оставив петербургские владения жене, а себе «для души» решил купить Архангельское у князей Голицыных. Сменив первую столицу России во вторую, князь Николай Борисович не мог не полюбить особый московский дух. Нравы хлебосольной и старомодной Москвы отличались от петербургских-все было гораздо проще! Необходимость в петербургской вежливой маске отпадала сама собой, и князь мог себе позволить язвить над простоватыми московскими нравами в Английском, но уже московском клубе на Тверской.