Создав рядом с церковью новый дом для шведского прихода, Федор Лидваль упрочил свою репутацию одного из самых интересных петербургских архитекторов младшего поколения. Творческие достижения Лидваля получили признание не только у потомков, но были отмечены уже современниками: приход подарил архитектору серебряную кружку и выхлопотал для него у императора орден Станислава 3-й степени. Не оказались забытыми и 300 строительных рабочих, тоже получивших награду — по 50 копеек и по красной шерстяной рубахе — уже при закладке фундаментного камня

В 1901 г. образовалось благотворительное общество, целью которого было помогать бедным членам прихода для «обеспечения им скудного существования», и еще через несколько лет приход получил в дар участок земли в пограничном селении Валкеасаари (Белоостров), где стали возводить дом для приходских «стариков» и «старушек» — Дом Св. Екатерины.

Юхан Якоб Хульден, работавший директором церковных школ в 1916–1917 гг., описал церковь как место встреч шведов и финляндцев, живших в российской столице и ее окрестностях:

«По воскресеньям трудящиеся в Петербурге шведские рабочие приходили в церковь с мешками еды на спине, словно собравшись на загородную прогулку. После богослужения они собирались для празднований в роскошном школьном зале, украшенном портретами императора и главного пастора, а также различными произведениями искусства. Прихожане воздавали Господу благодарение за пищу, после чего входил Каянус с пачкой шведских газет под мышкой и сообщал новости из Финляндии. Время от времени он садился за пианино и пел шведские народные песни — „Чудесный хрусталь“, „У меня есть на свете любимый друг“ и иные, так что в груди слушателей начинал журчать источник молодости и слезы орошали их огрубевшие от заводской пыли лица. Наконец все вместе пели псалом „В твоей власти, о милостивый Отче“ либо „Храни, Господь, наше Отечество“… О, он был великолепен, сей Херман Каянус!»

Описание Хульдена может показаться слишком идиллическим, однако что касается отзывов о личных качествах пастора, то они единодушны. Журналист, писатель и переводчик русской поэзии Рафаэль Линдквист очень высоко отзывался о Каянусе, называя его «другом, отцом и благодетелем… всех приезжих соотечественников; для определения его роли в шведском приходе и в жизни шведов в Петербурге мой лексикон недостаточно богат надлежаще весомыми словами». Репортаж в одной шведской газете 1910 г. сообщает о власти Каянуса над умами и душами слушателей, о его «глубоком, чистом, как колокольный звон, баритоне» и «виртуозных проповедях». И хотя, пишет газета, Каянус — пламенный патриот своей финской отчизны, ничто на свете, «никакие прибойные валы, бьющиеся о гранитные скалы Финляндии», не заставят его изменить древней шведской культуре и шведскому языку — «ничто не сможет подавить в нем любовь к старой доброй Свее!».

Самым наглядным результатом деятельности Каянуса стал новый приходской дом, выстроенный рядом с церковью на Малой Конюшенной улице. Построенный в 1790-е гг. старый дом почти рушился. Как надеялись, новое современное здание принесет от сдачи его внаем большие доходы и даже прибыль. Проектирование здания поручили молодому архитектору Федору Лид валю. 14 сентября 1904 г. в основание дома был помещен закладной камень со следующей надписью:

14/27 сентября 1904 г. в правление Императора

Николая II заложен фундамент этого дома

шведской церкви.

Пастор: Херман Каянус.

Президент церковного совета:

генерал Юханнес Фабрициус.

Строительный комитет:

господа Одён, Хёккерт,

Острём, Гешвендт, Лилиус.

Архитектор: Федор Лидваль.

Приходской дом был открыт 13 ноября 1905 г. Каянус и другие представители прихода произнесли торжественные речи, смычковый оркестр исполнил песни отчизны; церемония завершилась пением «Нашей страны» и молитвой. Помимо квартир, в доме были также помещения для собраний, в частности торжественный зал на 450 мест, который часто использовался приходом и сдавался внаем.

Херман Каянус скончался в 1913 г. в Висбадене, куда уехал поправлять здоровье. Его отпели в церкви Св. Екатерины, после чего гроб поездом был доставлен в Гельсингфорс, где и состоялось погребение. Пастор церкви Св. Петра Вильхельм Ферманн в некрологе, опубликованном немецкой газетой «St. Petersburger Zeitung» («С.-Петербургская газета»), написал, что Каянус «был украшением евангелического священничества в российской столице» и что его кончина — «невозместимая утрата». В данном случае это клише представляется совершенно уместным.

«Шведским кварталом» Петербурга считался участок вокруг Малой и Большой Конюшенных улиц, в 1733 г. подаренный приходу императрицей Анной Иоанновной. Не менее обоснованным было бы говорить о скандинавском или северном квартале, поскольку половина церковного участка после происшедшего в середине XVIII в. раскола принадлежала финскому приходу. А если учесть еще ту часть, которая выходила на Невский проспект, то можно его назвать немецко-северным или, если угодно, протестантским кварталом.