За отличный порядок, чистоту и благоустройство города В.А. Долгоруков не раз удостаивался высочайших благодарностей. Среди многочисленных наград, украшавших его мундир, был и высший орденский знак Российской империи — орден Святого Андрея Первозванного. В 1875 году, когда широко отмечалось 10-летие службы В. А. Долгорукова на посту московского генерал-губернатора, Московская городская дума присвоила ему звание почетного гражданина Москвы.

Дольше всех других градоначальников управлял Москвой князь Владимир Андреевич Долгоруков, установивший своеобразный рекорд генерал-губернаторского долголетия

В.А. Долгоруков снискал популярность и уважение москвичей, подносивших ему памятные дары к различным юбилеям. Эту коллекцию подарков (иконы, подносные блюда, богато оформленные альбомы, сотни адресов от московских обществ и организаций) он завещал Румянцевскому музею, где был создан памятный «Долгоруковский зал». В настоящее время коллекция почти в полном составе находится в Историческом музее.

По словам современников, подлинной страстью князя были роскошные балы и маскарады, которые он устраивал в генерал-губернаторском дворце. Рассказывали, как однажды, во время полного разгара удовольствий, раздался с Ивановской колокольни первый удар благовеста к заутрене. При этом торжественном звуке люстры и канделябры в губернаторском зале в одну секунду погасли, струны на инструментах лопнули, стекла из двойных рам, звеня, попадали на улицу, и в страшной тьме волны морозного воздуха хлынули на обнаженные плечи и шеи танцующих дам. Раздался крик ужаса. Испуганные гости бросились толпою к дверям, но они с грохотом захлопнулись, и никакие усилия не могли отворить их до тех пор, пока не кончился в Кремле благовест. К этому поэтическому рассказу добавляли, что в большой зале найдено было несколько замерзших и задавленных, и в том числе сам хозяин праздника.

В действительности это была выдумка, запущенная мастерами-колоколыциками. Когда они отливали новый колокол, то по традиции придумывали очередную небылицу, «чтобы колокол лучше звонил». Считалось, что чем больше человек поверит в сказку, тем приятнее и звонче будет звук. В эту историю поверило столько народу, что пришлось давать опровержение в газетах.

В роскошном губернаторском доме происходили торжественные приемы и самые блестящие балы. Вот, что о них пишет В. А. Гиляровский: «На его балах бывала вся Москва, и в роскошных залах, среди усыпанных бриллиантами великосветских дам и блестящих мундиров, можно было увидеть сапоги замоскворецких миллионеров, поддевку гласного Давыда Жадаева и долгополый сюртук ростовщика Кашина… Ростовщики и даже скупщики краденого и содержатели разбойничьих притонов бывали на этих балах, прикрытые мундирами благотворительных обществ, в которые доступ был открыт всем, кто жертвует деньги. Многие из них даже получали чины и ордена, ими прикрывали свои преступные дела, являясь недоступными для полиции».

Вот тут-то, на этих балах, и завязывались нужные знакомства и обделывались разные делишки, а благодушный «хозяин столицы», как тогда звали Долгорукова, окруженный стеной чиновников, скрывавших от него то, что ему не нужно было видеть, рассыпался в любезностях красивым дамам.

Сам князь, старый холостяк, родственник фаворитки императора, жил царьком, любил всякие торжества, на которых представительствовал, В известные дни принимал у себя просителей и жалобщиков, которые, конечно, профильтровывались чиновниками, заблаговременно докладывавшими князю, кто и зачем пришел, и характеризовавшими по-своему личность просителя».

Как вспоминали современники, старый холостяк, проживший огромное состояние и несколько наследств, не был кутилой, никогда не играл в карты, но любил задавать балы и не знал счета деньгам. По слухам, князь, хотя и не брал взяток, любил брать взаймы без отдачи, и был неразборчив в знакомствах. Однажды доверчивость и сыграла с ним невероятную шутку. Один из его знакомых, как выяснилось позже, главарь шайки аферистов, известной под именем «Червонные валеты», некто Шпейер попросил у Долгорукова показать генерал-губернаторский дворец приехавшему в Россию знатному английскому лорду. Получив «добро», Шпейер привез лорда в отсутствие хозяина и показал, в сопровождении управляющего, весь дом: парадные залы и покои, двор, конюшни и даже лошадей.

Через два дня у подъезда губернаторского дворца остановилась подвода с изрядным багажом, следом за ней в карете приехал лорд со своим секретарем и приказал вносить вещи прямо в кабинет градоначальника. Тот, по счастью, отсутствовал. Англичанин скандалил и доказывал, что это его собственный дом, что он купил его у владельца, дворянина Шпейера, за 100 тысяч рублей со всем инвентарем и приехал в нем жить. В доказательство представил купчую крепость за подписью нотариуса и круглой печатью. Разразился страшный скандал.

Долгоруков, узнав об этом, едва не лишился чувств. Понятное дело, что после такой сделки Шпейер бесследно исчез. Как, впрочем, и фальшивая нотариальная контора, устроенная на один день.

Вскоре все «червонные валеты», были осуждены и сосланы. Все, кроме атамана. Самым интересным был финал суда: когда приговор был прочитан, из залы заседания вышел почтенного вида старик, сел на лихача, подозвал городового, передал ему конверт, адресованный на имя председателя суда, и уехал. В конверте оказалась визитная карточка Шпейера, и на ней написано карандашом: «Благодарю за сегодняшний спектакль. Я очень доволен. Шпейер».

Дело о «червонных валетах» — одно из самых громких в России. По слухам, после одной из особенно дерзких выходок неуловимых мошенников возмущенный князь Долгоруков воскликнул: «Изловлю и всех законопачу!» Когда губернаторская угроза достигла ушей «червонных валетов», они, расценив ее как вызов, «подняли перчатку». Скандал с трудом удалось замять, но Александр III подобного конфуза генерал-губернатору не простил и отправил в отставку.

Память о генерал-губернаторе В.А. Долгорукове увековечена в названии улицы — Долгоруковская. В 1919–1992 годах она носила имя И. П. Каляева, совершившего убийство великого князя Сергея Александровича, сменившего в 1891 году В.А. Долгорукова на генерал-губернаторском посту.