Остаточные связи позволяют сети строить глубокие архитектуры, состоящие из сотен или даже тысяч слоев, сохраняя при этом стабильный градиент и обеспечивая более эффективное обучение. Это достигается путем добавления к выходу слоя предыдущего слоя (с учётом функции активации) или, иначе говоря, суммирования выхода текущего слоя с пропущенным через нелинейную функцию активации выходом предыдущего слоя.

Благодаря этой инновации ResNet стала одной из самых важных и влиятельных архитектур в области глубокого обучения. Она не только демонстрировала выдающуюся производительность на стандартных наборах данных для классификации изображений, таких как ImageNet, но и повлияла на дальнейшее развитие глубокого обучения, стимулируя исследования в области архитектурных инноваций и методов оптимизации.

7. EfficientNet (2019): EfficientNet, представленная в 2019 году, представляет собой архитектурный прорыв в области сверточных нейронных сетей, направленный на оптимизацию производительности сетей при минимальном потреблении ресурсов. Она вводит новый принцип масштабирования, который включает в себя изменение ширины, глубины и разрешения сети. Этот принцип дает возможность создавать сети, которые могут быть эффективно адаптированы к разным задачам и ресурсам.

Ключевая особенность EfficientNet заключается в том, что она балансирует размеры сети, чтобы достичь наилучшей производительности при ограниченных ресурсах. Она автоматически масштабирует ширину, глубину и разрешение сети, оптимизируя каждый из этих параметров для максимальной эффективности.

Эффективность EfficientNet проявляется не только в высокой точности классификации изображений, но и в быстродействии и низком потреблении ресурсов, что делает её идеальным выбором для решения различных задач в условиях ограниченных вычислительных ресурсов, таких как мобильные устройства или встраиваемые системы. Благодаря своей универсальности и эффективности, EfficientNet стала одной из ведущих архитектур в области компьютерного зрения и продолжает привлекать внимание исследователей и разработчиков.

Ключевые элементы: свертка, активация, пулинг, нормализация

Основные элементы, составляющие архитектуру CNN, включают:

Свертка (Convolution):

Свертка (Convolution) является одной из ключевых операций в сверточных нейронных сетях (CNN), играющей важную роль в извлечении признаков из входных данных, таких как изображения. Операция свертки осуществляется путем сканирования входного изображения с помощью набора фильтров, также известных как ядра свертки. Каждый фильтр выявляет определенные локальные паттерны или признаки, такие как грани, текстуры или более сложные структуры, и создает карту признаков, отражающую наличие этих признаков в разных областях изображения.

Фильтры в сверточной нейронной сети представляют собой набор параметров, которые обучаются в процессе тренировки модели. Во время обучения сети эти фильтры настраиваются таким образом, чтобы максимизировать различие между классами объектов на изображениях или выполнить другие задачи, связанные с обработкой данных. Фильтры перемещаются по входному изображению с определенным шагом, называемым шагом свертки (stride), и для каждой позиции создается новая карта признаков.

Операция свертки является основой для извлечения иерархии признаков из изображений и других типов данных с сетчатой структурой. Она позволяет нейронной сети автоматически изучать наиболее информативные признаки из входных данных без необходимости предварительного определения характеристик, что делает сверточные нейронные сети мощным инструментом для анализа и обработки изображений, а также для решения широкого спектра задач машинного зрения.

Для более наглядного представления работы операции свертки, рассмотрим пример применения фильтра к изображению. Предположим, у нас есть 3x3 матрица, представляющая собой часть черно-белого изображения:

```

[120, 100, 80]

[90, 110, 70]

[100, 120, 110]

```

Теперь допустим, у нас есть фильтр размером 2x2:

```

[1, 0]

[0, 1]

```

Чтобы применить этот фильтр к нашей матрице, мы начинаем с левого верхнего угла матрицы и перемножаем элементы матрицы на соответствующие элементы фильтра:

```

[120*1, 100*0]

[90*0, 110*1] = [120, 110]

```

После умножения и суммирования полученных значений, мы получаем новое значение для верхнего левого пикселя в результирующей матрице. Затем мы сдвигаем фильтр на один пиксель вправо (с шагом 1) и повторяем процесс для следующего столбца, а затем для остальных строк. Вот как выглядит этот процесс:

```

[120, 100, 80] [120, 110]

[90, 110, 70] -> [120, 110] (результат сдвига фильтра вправо на 1 пиксель)

[100, 120, 110]

```

Таким образом, мы получаем результирующую матрицу размером 2x2, которая представляет собой карту признаков, полученную после применения свертки. Этот процесс позволяет нейронной сети автоматически извлекать локальные признаки изображения, такие как грани или текстуры.

2. Активация (Activation):

Функции активации являются неотъемлемой частью сверточных нейронных сетей (CNN), играющей важную роль в добавлении нелинейности в модель. После операции свертки и других сложных вычислений, функции активации применяются к полученным значениям. Одной из наиболее популярных функций активации является ReLU (Rectified Linear Unit), которая заменяет отрицательные значения на ноль, оставляя положительные значения без изменений. Это позволяет сети изучать нелинейные зависимости между признаками, что часто является ключевым для успешного решения различных задач.