Соседство со Смольным двором дало название и будущему монастырю – Смольный.

В своём проекте Растрелли предусмотрел создание нового для России монастырского комплекса. Вместо мощных крепостных стен, традиционно окружавших подобные обители, зодчий предполагал построить стены с лепниной и вазами. В качестве доминанты архитектор планировал создать над въездными воротами высокую колокольню. Она должна была стать выше шпиля Петропавловского собора в Петропавловской крепости.

Комплекс монастыря был сформирован архитектором из собора и расположенных вокруг него двухэтажных жилых корпусов.

Но в июле 1749 года поступил императорский указ переделать проект. Собор было велено строить по образу и подобию Успенского собора в Московском Кремле, а колокольню – «такой, как здесь Ивановская бывшая колокольня». Таким образом, Елизавета Петровна поручила создать храм по православным канонам, то есть так, как не строили со времён Петра I. Так Елизавета возродила традиционное русское пятиглавие. У Смольного собора в обязательном порядке должны были теперь появиться не только массивный главный купол, но и четыре малых.

Перед началом строительства была создана рабочая архитектурная модель комплекса. Для этих целей были сняты «три покоя и одни сени» в доме на Большой Морской улице. Над моделью трудились шесть лучших плотников: Михаил Гаврилов, Тимофей Колоткин, Алексей Фоткин, Никифор Тихонов, Никита Пекишев и Дмитрий Голубев. Собирали её на столе в три метра длиной в точно такой последовательности, как должен был строиться монастырь. На место стройки, в специальную «модельную светлицу», её перевезли со всеми предосторожностями в мае 1751 года.

Монастырь начал строиться с большим размахом. Для забивки свай были привлечены тысячи солдат, тысячи мастеровых – для возведения стен. Финансирование было регулярным. В мае 1754 года стройку посетила сама Елизавета Петровна. Восхищённая проектом колокольни, она повелела отлить для неё колокол, весом 20 000 пудов, а шириной более 6,5 метра. Этот колокол должен был стать больше московского «Царь-колокола». Уже в процессе строительства Растрелли пересматривал проект. Высоту проектируемой колокольни он увеличил со 140 метров до 167. Малые главы вплотную «придвинул» к центральному куполу.

С началом Семилетней войны в 1757 году финансирование стало нерегулярным, денег в казне не хватало. Проект Растрелли завершён не был. После победного окончания войны с Пруссией желание императрицы уйти в монастырь угасло.

А в 1761 году Елизавета Петровна умерла, так и не успев увидеть освящение Смольного собора.

Практически готовый храм для верующих был закрыт. Со временем сложились легенды, будто службу в храме нельзя совершать целых сто лет. Якобы в алтарной части Смольного собора совершил самоубийство один из рабочих, именно это и не позволяло проводить здесь церковные службы.

Достраивал Смольный монастырь по поручению Екатерины II Юрий Матвеевич Фельтен. Юрий Матвеевич работал здесь с 1765 по 1775 год. Фельтен достроил корпуса и начал создание интерьеров.

Вскоре Екатерина II основала Воспитательное общество для девочек из дворянских семей. Для проживания «благородных девиц» был выбран Смольный монастырь. Учащихся здесь девушек стали называть смолянками.

При Павле I Смольный монастырь был упразднён, монахинь перевели в другие обители. Бывшие кельи вскоре занял Вдовий дом. Для воспитанниц Воспитательного общества в начале XIX века по соседству было построено здание Смольного института. Туда и переехали воспитанницы.

Существует история, гласящая о том, что архитектор Кваренги, автор здания Смольного института, проходя мимо Смольного собора, каждый раз снимал шляпу, восклицая: «Вот это храм!»

Окончательно Смольный собор был достроен только после решения императора Николая I. Был проведён конкурс, в котором победил архитектор Василий Петрович Стасов. В течение трёх лет зодчий занимался реставрацией и отделкой интерьеров, постройкой второго ряда служебных корпусов со стороны главного входа в монастырь. Стасову принадлежит проект рисунка ограды.

20 июля 1835 года Смольный собор был освящён как Собор всех учебных заведений. В память об этом была выбита бронзовая медаль с изображением храма и Иисуса Христа, благословляющего детей. Церковный зал вмещал до 6000 человек и был украшен мрамором. Алтарь отделяла хрустальная балюстрада. Запрестольный образ, ныне хранящийся в Русском музее, был создан художником Алексеем Венециановым. Колокольня же так и не была построена.

В 1923 году Смольный собор был закрыт, стал использоваться как склад. В 1972 году был снят иконостас, всё имущество передано в музеи. В 1974 году в соборе был открыт филиал Музея истории Ленинграда. В 1990 году здесь открыт концертно-выставочный комплекс.