Членами Благородного собрания могли быть потомственные дворяне, как мужчины, так и женщины. Во главе Благородного собрания стояли 12 выборных старшин. Члены Благородного собрания платили годовые взносы.

В 1784 году Благородное собрание и приобрело дом бывшего московского генерал-губернатора на углу Большой Дмитровки и Охотного Ряда. Для перестройки здания был приглашён архитектор Матвей Фёдорович Казаков.

Главная трудность для зодчего состояла в выработке совершенно нового образа общественного здания. Ведь здесь, в отличие от других зданий, которые Матвей Фёдорович возводил, дом перестраивался из старого здания. Внешне дом мало отличался от больших городских усадеб, которыми в те годы украсилась Москва.

Казаков ориентировал главный фасад здания по Большой Дмитровке, выделив его центр торжественным повышенным шестиколонным ионическим портиком. Углы были подчёркнуты более мелкими портиками с пилястрами. Они придали всей композиции строгую симметрию, пропорциональную и ритмическую согласованность. Со стороны Охотного Ряда здание в своей торцевой части имело только парадный подъезд, оформленный аркой на сдвоенных колоннах.

Но основное внимание Казаков решил уделить интерьеру. Он объединил все усадебные постройки в одно монументальное здание и соорудил в его центре, на территории бывшего внутреннего усадебного двора, величественный Колонный зал. Колонный зал Благородного собрания не зря называют шедевром Казакова.

Вдоль стен прямоугольного в плане зала расставлены стройные белые колонны коринфского ордера. Коринфская колоннада несёт строгий, пластичный и изящно проработанный антаблемент, над которым располагались окна второго света. Благодаря этим окнам гигантский сводчатый потолок с живописным плафоном как бы парил в воздухе.

Крупные пропорции ордера, спокойные формы колонн, чёткие очертания всех частей создают ощущение торжественности. Эту торжественность ещё более подчеркивают полированная поверхность белого искусственного мрамора, настенные зеркала, прекрасные хрустальные люстры. Этому залу простой и благородной архитектуры суждено было стать средоточием жизни граждан «дворянской Республики».

Колонный зал быстро приобрёл славу одного из наиболее торжественных классицистических парадных залов Москвы. Размеры зала – 24,8 метра на 39,5 метра – позволяли танцевать 500 и более парам. Высота потолка (14,5 метра) превосходит современный четырёхэтажный жилой дом. Все эти архитектурные достоинства дополняла замечательная акустика. Плоский деревянный потолок играл роль деки, отражающей и усиливающей звук.

Благодаря такой акустике европейские знаменитости, певцы и музыканты, приезжая в Москву, стремились выступать не только в крепостных театрах и гостиных знатных вельмож, но и в невиданном прежде зале.

Члены Благородного собрания «свободно съезжались наслаждаться приятностями общежития» в свой дом на Дмитровке с октября по апрель. Тогда в Москве, в Колонном зале, и проходили умопомрачительные балы, слава о которых дошла до Петербурга. Екатерина II повелела считать дом, купленный на имя старшины Благородного собрания князя Голицына, частной собственностью московского дворянства. Таким образом, был создан прецедент, когда общественная организация была признана юридическим лицом.

А внук Екатерины II, император Александр I, записался в члены Московского Благородного собрания и повелел называть его Российским. В Москву, уже в Российское Благородное собрание, пообщаться и повеселиться съезжались дворяне из имений всей России.

В 1800–х годах к зданию со стороны Георгиевского переулка было пристроено трёхэтажное здание с угловой ротондой.

Дом Благородного собрания был сильно разрушен пожаром 1812 года. Через два года, в 1814 году, здание было восстановлено учеником Матвея Фёдоровича Казакова архитектором Алексеем Никитичем Бакарёвым.

В здании Благородного собрания возобновились традиционные балы, вечера. В нём московские дворяне принимали приезжавших в город российских императоров. По уставу 1849 года, члены Благородного собрания могли приглашать «гостей». Увидеть Колонный зал, поражающий «простотой и величием», могли возведённые во дворянство выходцы из других сословий, почётные граждане, купцы первой гильдии, купцы-иностранцы и представители «свободных профессий».

Многие выдающиеся деятели культуры и искусства, композиторы и исполнители, писатели и художники поднимались по широкой трёхмаршевой лестнице, которая вела в парадную анфиладу, с залами, кабинетами и гостиными, окружавшими Колонный зал.

Но одним весельем жизнь в доме не ограничивалась. В нём происходили выборы предводителей дворянства и других должностных лиц. В здании Благородного собрания проводились заседания московского губернского Дворянского собрания. Из-за этих собраний здание порой называли Домом Дворянского собрания.

Балы и маскарады сменились регулярными концертами классической музыки. Дом стал первой московской филармонией.

Во второй половине XIX века в Колонном зале Благородного собрания с концертами выступали Пётр Ильич Чайковский, Николай Андреевич Римский-Корсаков, Сергей Васильевич Рахманинов, Ференц Лист и другие.

Очень славилась богатая библиотека Благородного собрания.

В 1903 году архитектор Александр Фелицианович Мейснер надстроил третий этаж, заложил окна верхнего света в Колонном зале.