Шведский гарнизон первоначально насчитывал 200 человек. Все оставшиеся в живых русские согласно королевскому указанию были изгнаны из крепости, которая стала называться по-шведски Нотебургом.

В 1617 году почти все русское население Орешка, воспользовавшись условиями Столбовского мира, заключенного между Россией и Швецией, покинуло родные места.

Героическая оборона Орешка, длившаяся много месяцев, явилась ярким подвигом русского народа в борьбе с иноземными захватчиками в начале XVII века. Город сопротивлялся дольше других взятых шведами городов Ижорской земли (Ямы, Копорья, Ивангорода, Гдова, Ладоги, Корелы).

В те трудные дни вновь подтвердились блестящие военные качества оборонительных сооружений, уже просуществовавших более ста лет. Захват шведами Орешка нанес России тяжелый урон. «Русские совершенно отрезаны от Балтийского моря», — заявил шведский король Густав-Адольф. Москва неоднократно предпринимала дипломатические попытки вернуть Орешек, но они не дали результатов. На 90 лет захватчики оккупировали исконно русскую твердыню.

Что же стало с завоеванным городом? Состояние крепости весной 1612 года, когда туда только что вошли захватчики, описано шведским дворянином Петром Петреем, несколько лет путешествовавшим по России и изучавшим в военных целях ее города, крепости, реки, границы. Это и другие описания XVII века, а также архитектурно-археологические исследования последних лет не оставляют сомнений в том, что шведы, получив готовую русскую постройку, существенным образом в ней ничего не изменили. Они лишь осуществляли текущий ремонт и возвели несколько деревянных построек.

При раскопках не было обнаружено шведского слоя. Найдены лишь отдельные скандинавские вещи: монеты, курительные трубки, остатки солдатской обуви. Не имея письменных источников, трудно было бы подтвердить длительное пребывание шведов на острове.

Ремонтные работы в Нотебурге начались в 1619 году. К 1641 году стены и башни были починены. В последующие два года перед Флажной башней (Корельской; здесь и далее в скобках — шведское название башни) новые хозяева крепости возвели защитное сооружение для предотвращения размыва берега.

Около 1630 года нотебургский гарнизон насчитывал 150 человек. В крепости обосновались кроме военных и оккупационные гражданские власти, ведавшие Нотебургским леном (то есть уездом). В быте Нотебурга первой половины XVII века проявились типичные черты провинциальной шведской крепости. В Стокгольм исправно посылались ведомости ремонтных расходов, появление на острове одного немецкого каменщика и одного кузнеца было событием, а о доставке в крепость в 1627 году кирок и лопат обстоятельно сообщено правительству.

В 1611 году в устье Невы шведы возводят крепость Ниеншанц, «чтобы можно было, — как выразился Карл IX, — защищать всю Неву под эгидой шведской короны».

Нотебург и Ниеншанц (по-русски Канцы) превратились в важные торговые порты, через которые переправлялись из Руси на запад и север Европы лен, пенька, кожа, меха, холст, зерно, смола, готовые изделия и многие другие товары. По Неве ежегодно проходили десятки груженых судов. Шведское правительство, взимавшее за транзит товаров по Неве большие пошлины, цепко держало завоеванные позиции.

В июне — ноябре 1656 года Нотебург был осажден русскими войсками под командованием воеводы Петра Потемкина. В то же время правительство царя Алексея Михайловича выговаривало у шведов «в нашу сторону Орешек или другую пристань по Неве или при море». Однако ни дипломатия, ни русские орудия, громившие шведов с Монашеского острова, не принесли успеха. Осажденные в Нотебурге шведы стойко оборонялись, а комендант крепости майор Франс Граве на предложение о сдаче ответил: «Яблоко и грушу легче раскусить, чем такой орех». Русским войскам пришлось отступить.

Во второй половине XVII века в военных планах Швеции Нотебургу уделялось все большее внимание. Проекты усиления крепости следуют один за другим. Ее инспектируют видные военные специалисты, в том числе выдающийся шведский градостроитель, инженер и фортификатор Эрик Дальберг, с 1674 года укреплявший Ригу, Нарву и города Ингерманландии, как стала называться оккупированная шведами Ижорская земля. В 1695 году он писал королю, что русские в своем движении к Балтике «не встретят ничего, кроме Нотебурга, который благодаря своему расположению в прошлом был непобедимой крепостью, но вряд ли он сумеет теперь выдержать атаки, как в старые времена, так как крепость тесна, ее старые башни и стены обветшали». Покорив Нотебург, продолжал Дальберг, русские выйдут к Балтийскому морю и вскоре построят флот. Предсказания Дальберга оказались прозорливыми.

В связи с усовершенствованием артиллерии и распространением бастионной системы фортификации Нотебургская крепость стала казаться шведским военным устаревшей. Согласно одному из шведских планов крепости, составленному в 1659 году, предполагалось обнести ее бастионами и усилить стены и башни.

Фортификационные работы, однако, шли медленно. Пока исправляли одну часть крепости, разрушалась другая. Наглядно это положение иллюстрируется планом 1680 года, хранящимся в Королевском военном архиве в Стокгольме и имеющим надпись: «Дополнение о крепости Нотебург, а также о том, что недавно пришло в упадок». В экспликации к плану отмечено, что из десяти башен крепости шесть требовали ремонта, при этом всюду примечания: «потрескались», «наполовину развалились», «совершенно непригодны».