Ему было под пятьдесят, когда он женился на молоденькой Лопухиной. Жена оказалась не под стать ему: больше молилась и вскоре умерла, оставив ему дочь. Орлов всегда жаловался:

— Даже нарядов не нашивала. В икону ткнется — и все тут! В дерюжном бы мешке такую таскать… Нет, это не по мне!

Ему больше нравилась его старая метресса Марья Бахметева, с которой он жил как собака с кошкой, и они то разводились с громом и молниями, так что вся Москва бурлила, то снова съезжались, дружески иронизируя по поводу своих "разводов".

— Эх, Алешка! — говорила Марья. — Шумишь ты, а ведь от меня никуда не денешься… Для всех ты граф Чесменский, а для меня ты князь Деревенский! Лучше б ты подарил мне что-либо…

К дочери Орлов относился деспотично. Если его навещал человек, достойный уважения, он призывал к себе юную графиню:

— Вишь, гость-то каков! Или мы тебя, никудышную, сейчас с кашей съедим, или… мой полы в честь гостя приятного!

Графиня тащила ведро с водой, устраивала поломытие.

— Да не так моешь! — кричал на нее отец. — Не ленись лишний раз тряпку-то выжать… Это тебе не богу маливаться!

Тургеневский герой, однодворец Овсянников, вспоминал: "Пока не знаешь его, не взойдешь к нему, боишься, точно робеешь, а войдешь — словно солнышко пригреет — и весь повеселеешь… Голубей-турманов держал первейшего сорта. Выйдет, бывало, во двор, сядет в кресло и прикажет голубей поднять; а кругом на крышах люди стоят с ружьями против ястребов. К ногам графа большой серебряный таз поставят с водою: он и смотрит в воду на голубков… А рассердится — словно гром прогремит. Страху много, а плакать не на что: смотришь — уж и улыбается.

Совсем иное впечатление производил Орлов на иностранцев.

Англичанка мисс Бальмонт признавалась, что при виде Алехана все ее тело охватила дрожь ужаса, а когда ей следовало поцеловать Орлова в изуродованное лицо, она чуть не упала в обморок. Чесменский герой казался нежной мисс каким-то чудовищем, и ей было странно видеть, как средь азиатской роскоши свободно и легко двигался этот "дикий варвар" в распахнутом на груди кафтане, с повадками мужика-растяпы и при этом носил на руках чью-то маленькую, чумазую девочку, которую он нежно целовал, и еще приплясывал, забавляя ребенка:

— Чье это очаровательнее дитя? — спросила мисс Вальмонт.

— А разве узнаешь… — отвечал Орлов. — Забежала вот вчера с улицы… Так и осталась. Не выкидывать же. Пущай живет!

Москвичи знали, что там, где Орлов, там всегда весело, и толпами валили в его Нескучное, где любовались рысистым наметом лошадей, красотой одежд конюхов… Алехан иногда скидывал на снег тулупчик козлиный, ему подавали бойцовские рукавицы:

— Ну, ребята! Пришло время кровь потешить… Специально, чтобы с Орловым подраться, приезжали, в Москву туляки — самые опытные на Руси драчуны-боксеры. Алехан, которому пошло на седьмой десяток, браковал соперников:

— Да куда ты лезешь, черт старый! Я ж тебя еще молодым парнем бивал… Оавай сына! Ах, с внуком приехал? Станови внука…

Из толпы заяузских кожемяков выходил парень: сам — что дуб, а кулаки будто две тыквы:

— Давай, граф, на пять рублев биться.

— А у тебя разве пять рублев сыщется?

— Никогда в руках не держал. Но тебя побью — будут…

— Ну, держись тогда, кила рязанская!

Теснее смыкался круг людей, и на истоптанном валенками снегу начиналась боевая потеха. Иной раз и кровь заливала снег, так что смотреть страшно. Но зато все вершилось по правилам — без злобы. А туляки почасту свергали Орлова наземь. Порядок же был таков: "Кого поборет Орлов — наградит, а коли кто его поборет — того задарит совсем и в губы зацелует!"

По натуре он был азартный игрок. На пари брался с одного удара отрубить быку голову — и отрубал. Спорил с ямщиками валдайскими, что остановит шестерку лошадей за колесо — и останавливал. Мешая дело с бездельем, он устроил на Москве регулярную голубиную почту. Развел петушиные бои, вывел особую породу гусей — бойцовских. На всю Россию славились своим удивительным напевом канарейки — тоже "орловские"!

Наконец, из раздолья молдаванских степей он вывез на Москву цыганские таборы, поселил их в подмосковном селе Пушкине, где образовался цыганский хор. Орлов первым на Руси оценил божественную красоту цыганского пения. Всех хористов он называл по-цыгански "чавалы" (в переводе на русский значит "ребята"):

— Ну, чавалы, спойте, чтобы я немножко поплакал…

На традиционном майском гуляний в Сокольниках цыгане пели и плясали в шатрах. Растроганный их искусством, Алехан раскрепостил весь хор, и отсюда из парка Сокольников, слава цыганских романсов пошла бродить по России — по ярмаркам и ресторанам, восхищая всех людей, от Пушкина до Толстого, от Каталани до Листа! А в грозном 1812 году цыганский хор целиком вступил в Народное ополчение, и певцы Орлова стали гусарами и уланами, геройски сражаясь за свое новое отечество.