В этом отношении мир похож на песню. Каждый объект в мире состоит из набора мелких объектов, и большинство объектов являются частями больших объектов. Это то, что я называю вложенной структурой. Поняв ее, вы увидите вложенную структуру во всем. В полной аналогии с этим, ваша память о вещах и способ, которым мозг представляет их, сохранены в иерархической структуре кортекса. Ваша память о вашем доме состоит не из одной области кортекса. Она хранится в иерархии кортикальных областей, которые отражают иерархическую структуру дома. Широкомасштабные отношения сохраняются в верхней части иерархии, а мелкомасштабные — в нижней.

Дизайн кортекса и метод, с помощью которого обучается, естественным путем раскрывают иерархические отношения в мире. Вы не родились со знанием языка, домов или музыки. У кортекса хитрый алгоритм обучения, который естественным путем обнаруживает любую существующую иерархическую структуру и захватывает ее. Когда структура отсутствует, мы впадаем в замешательство, даже в хаос.

В один момент времени вы можете ощущать только с подмножеством мира. Вы можете быть только в одной комнате дом, смотреть только в одном направлении. По причине иерархии кортекса, вы способны знать, что вы в доме, в комнате, смотрите в окно, даже хотя в этот момент ваши глаза фиксируются на защелке окна. Высшие области кортекса обрабатывают представление о вашем доме, тогда как нижние области представляют комнату, еще более нижние смотрят на окно. Аналогично, иерархия позволяет вам знать, что вы слушаете и песню и сборник, хотя в любой момент времени вы слышите только одну ноту, которая сама по себе говорит, какая нота будет следующей. Она позволяет вам знать, что вы с вашей лучшей подругой, хотя ваши глаза фиксируются на ее руках. Высшие области кортекса отслеживают большую картинку, тогда как низшие области активно работают с быстро изменяющимися маленькими деталями.

Поскольку мы можем трогать, слышать и видеть только очень маленькую часть мира в любой момент времени, информация, поступающая в мозг, является последовательностями паттернов. Кортексу необходимо изучать эти последовательности, которые возникают снова и снова. В некоторых случаях, таких как мелодия, последовательности паттернов приходят в жестком порядке, порядке интервалов. Большинство из нас знакомо с таким видом последовательностей. Но я собираюсь использовать слово последовательность в более общем смысле, ближе к значению математического термина множество. Последовательность это множество паттернов, которые обычно следуют один за другим, но не всегда в фиксированном порядке. Что важно, так это то, что паттерны в последовательности следуют один за другим во времени, даже если не в фиксированном порядке.

Некоторые примерны должны прояснить это. Когда я гляжу на лицо, последовательность входных паттернов, которую я вижу, не фиксирована, но определяется моими саккадами. В один момент времени я могу фиксировать в порядке «глаз глаз нос рот», а в другой момент — в порядке «рот глаз нос глаз». Компоненты лица — это последовательность. Они статистически соотносятся и обычно возникают во времени вместе, хотя порядок может меняться. Если вы воспринимаете «лицо», когда фиксируетесь на «нос», то вероятнее всего следующим паттерном будет «глаз» или «рот», но не «авторучка» или «автомобиль».

Каждая область кортекса видит потоки таких паттернов. Если паттерны соотносятся таким образом, что область может научиться предсказывать, какой паттерн будет следующим, кортикальная область формирует постоянное представление, или память для последовательности. Изучение последовательностей это наиболее базовый ингредиент для инвариантного представления объектов реального мира.

Объекты реального мира могут быть конкретными, вроде ящерицы, лица или двери, или они могут быть абстрактными, как слово или теория. Мозг обрабатывает абстрактные и конкретные объекты одинаковым образом. И те и другие просто последовательности паттернов, возникающих вместе во времени предсказуемым образом. Фактически, определенные входные паттерны повторяются, что позволяет кортикальной области знать, что эти образы вызваны реальными объектами мира.

Предсказуемость это определение реальности. Если область кортекса обнаруживает, что она может надежно и предсказуемо двигаться по этим паттернам, используя серии физических движений (таких как саккады глаз или скольжение пальца) и может аккуратно предсказывать их, когда они развертываются во времени (как звуки, составляющие песню или произнесенные слова), мозг интерпретирует их, как имеющие причинно-следственные отношения. Разногласия в многочисленных входных паттернах, возникающие в одном и том же отношении снова и снова без очевидной причинной связи, исчезающе малы. Предсказуемые последовательности паттернов должны быть частью большего реально существующего объекта. Таким образом, надежная предсказуемость является надежным способом узнать, что различные события мира физически связаны вместе. У каждого лица есть глаза, уши, рот и нос. Если мозг видит глаза, затем делает саккаду и видит другой глаз, затем еще одну саккаду и видит рот, он определенно чувствует, что видит лицо.

Если бы кортикальные области могли говорить, они могли бы сказать: «Я ощущаю множество различны паттернов. Иногда я могу предсказать, какой паттерн будет следующим. Но эти паттерны определенно соотносятся один с другим. Они всегда возникают вместе, и я могу надежно перепрыгивать между ними. Таким образом, когда я вижу любое из этих событий, я ссылаюсь на них общим названием. Именно это групповое имя, а не индивидуальные паттерны я передаю в высшие области кортекса».

Таким образом, можно было бы сказать, что мозг хранит последовательности последовательностей. Каждая область кортекса изучает последовательности, вырабатывает то, что я назвал «именами» для последовательностей, которые она знает, и передает эти имена в следующие области выше по кортикальной иерархии.

Когда информация движется вверх от первичных сенсорных областей к высшим уровням, мы видим, что они все меньше и меньше изменяются во времени. В первичной визуальной области, типа V1, множество активных клеток быстро изменяется, поскольку новые паттерны падают на сетчатку несколько раз в секунду. В визуальной области IT клетки, возбуждающиеся на паттерны, более стабильны. Что там происходит? Каждая область кортекса имеет репертуар последовательностей, которые ей известны, аналогичные репертуару песен. Области хранят эти песнеподобные последовательности обо всем: звук прибоя, разбивающегося о пляж, лицо вашей матери, путь от дома до ближайшего магазина, как произносить слово «попкорн», как тасовать колоду карт.