Возвращаясь к модели Изинга надо сказать, что область ее действия распространяется на кооперативные системы, которые невозможно описать уравнениями. Кооперативные системы отличаются тем, что представляют собой совокупность элементов, взаимодействующих между собой, и подчиняются одновременно двум законам: по одному подчиняются отдельные элементы, а второй управляет поведением всей системы в целом. Такая сложная системная организация не позволяет объяснить свойства системы в целом через совокупность свойств отдельных компонентов.

Автор модели Эрнст Изинг (Ernst Ising, 1900–1998) предложил ее в 1920 году будучи аспирантом в Гамбургском университете. Там он изучал магнитные свойства спинового стекла – материала, имеющего магнитные свойства, но непохожего на обычные магниты. В обычных материалах, таких как железо, спины электронов обычно выстраиваются в одном направлении: если электрон со спином «вниз» окружен электронами со спином «вверх», перевертывается и, когда большинство спинов в куске железа таким образом выстраиваются, он превращается в магнит. Такое происходит в обычных магнитах потому, что сила взаимодействия между соседними спинами одинакова, в отличие от них в спиновом стекле эта сила может отличаться и даже бывает отрицательной, из-за чего расположенные рядом спины ведет себя произвольно и могут принимать противоположные направления. Единообразие частиц обычного магнита приводит к тому, что его энергия обычного магнита минимальна, если все спины выровнены. Со спиновым стеклом дело сложнее, его частицы имеют свободу воли, они не ведут себя единообразно и невозможно заранее определить его состояние, что позволяет отнести его к кооперативным системам.

Изучение кооперативных систем началось со статистической физики, где квантовая модель Изинга стала одной из стандартных, продолжилось в химии (молекулярные модели Изинга), а позже она распространилась на биологические, социально-экономические науки и даже на геологию, на одно из новейших приложений – лингвистика. И что удивительно, при столь большом природном разнообразии, для моделирования всех этих систем в качестве меташаблона можно использовать одну и ту же модель Изинга. В 2010 году наш соотечественник Станислав Смирнов стал лауреатом Филдсовской премии (2010) «за доказательство конформной инвариантности двумерной перколяции и модели Изинга в статистической физике».

Для общего знакомства с моделью Изинга и ее автором стоит прочесть статью Евгения Залмановича Мейлихова «Трагическая и счастливая жизнь Эрнста Изинга», опубликованную в журнале «Природа», он к тому же и автор весьма познавательной книги «А. С. Пушкин и физика. Кто, как и какой физике учил Пушкина». Есть интереснейшая статья группы авторов, один из которых сын Эрнста Изинга «Судьба Эрнста Изинга и судьба его модели» (The Fate of Ernst Ising and the Fate of his Model, 2017), где изложена чрезвычайно необычная биография ученого и содержится популярное введение. Тем, кого глубже заинтересует историческое значение модели Изинга, можно порекомендовать цикла статей Мартина Нисса «История модели Изинга» (History of the Lenz-Ising Model 1920–1950: From Ferromagnetic to Cooperative Phenomena и History of the Lenz—Ising Model 1950–1965).

Фундаментально роль модели Изинга в нейронауке была переосмыслена совсем недавно, в методологической статье австрийских философов Тарья Кнууттила и Андреа Лоттгерс, опубликованной в одном из старейших американских философских ежеквартальных изданий The Monist в 2015 году. Ее название «Магниты, спины и нейроны. О родственности шаблонов моделей в разных дисциплинах» (Magnets, Spins, and Neurons: The Dissemination of Model Templates Across Disciplines). Название отражает желание авторов показать логическую связь нейрофизиологии и физики. Кнууттила и Лоттгерс анализируют цепочку от Изинга к Литтлу и от Литтла к Хопфилду. Для нас статья представляет интерес в связи с тем, что ее авторы дают расширенную трактовку модели-шаблона Изинга, вышедшую из физики, но распространившую свое влияние на широкий круг дисциплин.

Кнууттила и Лоттгерс подчеркивают важность разделения двух понятий – собственно модели (физической или нейронной) и общего для них обеих математического шаблона. Они начинают статью со следующего наблюдения: «Одним из самых бросающихся в глаза фактов, обнаруживаемых при использовании современных средств моделирования, является известный феномен, суть которого в том, что одни и те же математические шаблоны соответствуют моделям, относящимся к совершенно разным областям».

У Джона Хопфилда, как и у многих исследователей AI, российские корни, его родители эмигрировали в конце XIX века из Российской Империи и получили в США физическое образование. Возможно, эта семейная близость психолога к физике позволила ему развить соображения, высказанные Литтлом. В статье «Нейронные сети и физические системы, обнаруживающие коллективные вычислительные способности» (Neural networks and physical systems with emergent collective computational abilities, 1982) он описал устройство полносвязной сети с симметричной матрицей связей более известий как сеть Хопфилда. Наравне с этим названием такие сети еще называют сетями, использующими модель Изинга (Ising model of a neural network).

Объединив нейронную и физическую модели, Хопфилд сумел перевести коннекционизм с уровня абстрактных рассуждений на прагматический уровень с возможными в будущем практическими приложениями. Таким образом он положил начало новой эре, той в которой мы живем сейчас, когда машинное обучение вытеснило с положения доминирующей парадигмы в науке об искусственном интеллекте символический подход.

По Хопфилду, нейронная сеть, которая изменяется во времени, подобна спиновому стеклу. Эта аналогия открыла возможность применить к машинному обучению математику, заимствованную из статистической физики! Сеть Хопфилда получила развитие в сети Хемминга предложенной Ричардом Липпманном в 1987 году. Сети Хопфилда и Хемминга остаются до нашего времени предметом изучения, наличие в них элементов ассоциативной памяти делает их полезными в задачах распознавания, но главное достижение Джона Хопфилда в том, что его работа стала первым камнем, вызвавшим лавину нынешнего массового распространения нейронных сетей и машинного обучения.

Открытие Хопфилда прорвало плотину, с его работы начался активный поиск других шаблонов для моделей нейронных сетей. В 1985 году трое – математик Дэвид Окли, психолог Джеффри Хинтон и биолог Терри Сейновски опубликовали статью «Обучающий алгоритм для машины Больцмана» (A Learning Algorithm for Boltzmann Machines), они начали ее с замечания о том, что их работа служит развитием трудов Хопфилда. Статья начинается со слов: «Соответствие современных технологий сверхбольших интегральных схем VLSI архитектуре мозга стала источником возобновления интереса к коннекционизму. Такие схемы способны к долговременному хранению данных и обеспечению связей между элементами, подобными нейронам». В качестве средства для моделирования работы мозга, в идеале они видят некую многопроцессорную структуру, объединенную коммуникационной сетью, для нее они предложили название «Машина Больцмана», обратим внимание на слово машина. Оно было выбрано в честь австрийского физика Людвига Больцмана, одного из создателей статистической физики. Машина Больцмана может рассматриваться как стохастический генеративный вариант сети Хопфилда. Вероятность нахождения сети в конкретном состоянии соответствует известному в термодинамике распределению Больцмана.