Египетские папирусы, содержащие рассуждения о природе мозга, датируются концом второго тысячелетия до н. э., с тех пор и на протяжении последующих веков к устройству и работе мозга проявляли интерес философы, и медики. В XX веке этой проблемой вплотную занялись нейрофизиологи, ими была разработана принятая на сегодня теория мозга. Считается, что небольшие нервные сети (neural circuit) объединяются в более крупные мозговые структуры (large-scale brain networks), а из них образуется мозг как единый орган. Обратим внимание на употребление в английском двух близких слов circuit и network, они переводятся на русский одним словом «сеть». Но в данном случае circuit – это сетевая структура меньшего размера, из множества circuit образуются network – сети большего размера. Есть компьютерная терминологическая аналогия, мы обычно переводим integrated circuit как интегральная микросхема, заменяя сеть микросхемой, но computer network переводим как компьютерная сеть. Еще одно терминологическое замечание, оно связано с тем, что, когда Уоррен Мак-Каллок и Уолтер Питтс выдвинули идею о возможности моделирования работы мозга сетью, состоящей из искусственных нейронов, они назвали такой тип сети Artificial neural network (ANN). Слово neural переводится на русский язык как нервный, а neuronal как нейронный, то есть ANN в оригинале искусственная нервная сеть, но по-русски приято переводить ANN как «искусственная нейронная сеть», что возможно точнее соответствует реальности.

Мак-Каллок и Питтс посвятили свою научную деятельность созданию формальных методов моделирования человеческого мозга, одним из ее результатов стало новое направление, обычно называемое коннекционизмом. В контексте AI оно рассматривается как альтернатива символьному подходу, но следует иметь в виду, что существует и более широкая философская трактовка термина коннекционизм. В этом случае под ним понимается одно из направлений в когнитивистике (от cognitio «познание»), науке, объединяющей теорию информационных процессов с теорией познания, когнитивной психологией, нейрофизиологией и когнитивной лингвистикой. Ключевым моментом, отличающим это направление когнитивистики от классической направлений этой науки, является опора на параллельные системы и на статистику, а не на последовательные системы и логические правила. Среди представителей когнитивистики нет единства мнений на сей предмет: одни склоняются к традиционным теориям, считая, что нейронная сеть подобна символическому процессору и для ее моделирования можно использовать программирование, но есть и более радикальные коннекционисты, утверждающие, что классическое программирование их целям не соответствует, они выбирают методы обучения.

Оставим возможность разбираться с этими разногласиями философам, а сами ограничимся тем, что будем считать в узком смысле коннекционизмом теоретический базис для того подхода к созданию AI, названному Тьюрингом «снизу-вверх», а машинное обучение будем рассматривать как альтернативу программированию. Что касается параллельных систем, то современный компьютинг к ним еще не готов, использование кластеров на графических процессорах (GPU) временное решение, по-английски stub, хотя насколько оно временно сказать сложно.

Предтечей коннекционизма был ассоцианизм – учение, рассматривающее мозг как действующий набор элементов, объединенных ассоциативными связями. Ассоцианизм – это совокупность психологических концепций и школ, сформировавшихся в XVIII–XIX веках, его приверженцы считали ассоциации идей главным или даже единственным механизмом, обеспечивающим работу сознания. У человека ассоциация может возникать при обнаружении подобия в предметах, имеющих одинаковые свойства или признаки, в их близости в пространстве и во времени. Впрочем, ассоциации может вызывать не только близость, но и контраст. Первые соображения о значении ассоциаций были выдвинуты Платоном и Аристотелем, но через пару тысяч лет картезианская школа, прежде всего в лице Локка и Гоббса, затормозила развитие ассоцианизма вплоть до начала XVII века. Он возродился в появившихся тогда учениях о психике, где мозг представлялся в виде машины, запечатлевающей следы внешних воздействий, причем так, что стимулирование одного из следов автоматически влечет за собой возникновение следующего. Начало новому этапу в развитии ассоцианизма положил голландский философ Бенедикт Спиноза (Benedictus de Spinoza, 1632–1677), его продолжателями стали англичане Джордж Беркли (George Berkeley, 1685–1753) и Дэвид Гартли (David Hartley, 1705–1757), они создали систему взглядов, называемую материалистическим ассоцианизмом. Последующие успехи в биологии и нейрофизиологии, достигнутые в конце XIX – начале XX века, вызвали взрыв интереса к ассоцианизму в трудах Германа Гельмгольца (Hermann Helmholtz, 1821–1894) – в его исследованиях органов чувств, Чарльза Дарвина – при объяснении эмоций, И. М. Сеченова – в учении о рефлексах головного мозга, И. П. Павлова – в его учении об условных рефлексах. Итогом всестороннего изучения ассоциаций в мозговых процессах стало появление ассоциативной психологии.

Пионерами современной науки, изучающей нейронную природу мозга, стали работавшие независимо друг от друга Александр Бэн (Alexander Bain,1818–1903) и Уильям Джеймс (William James, 1842–1910). Шотландский философ, психолог и педагог Александр Бэн в 80-е годы XIX разработал нейронную модель мозга, считая его состоящим из группировок нейронов (neural groupings). Бэна называют «отцом нейронных сетей», поскольку ему удалось показать то, как ассоциативные структуры, состоящие нейронных группировок, могут осуществлять функцию памяти и, более того, в развитие положений ассоцианизма ему удалось представить вычислительные способности такого рода структур. Американца Уильяма Джеймса (William James, 1842–1910), в большей мере интересовали психологические аспекты работы мозга. Позже существенный вклад в нейрофизиологию мозга внес Чарльз Шеррингтон (Charles Sherrington, 1857–1952), лауреат Нобелевской премии по физиологии и медицине в 1932 году за открытия, касающиеся функций нейронов.

Интересно отметить занятное совпадение, косвенным образом связывающее деятельность Бэна с AI. Оказывается, это он в 1876 году основал альманах Mind, где через три четверти века Тьюринг опубликовал свою статью Computing Machinery and Intelligence.

Новая история коннекционизма делится на два этапа. Они не равны по продолжительности и между ними лежит разрыв по времени, равный двум десятилетиям. Первый, более короткий, продлился всего 20 лет, от середины 40-х годов до середины 60-х, а второй стартовал в начале 80-х годов и продолжается до нашего времени. Главными действующими лицами первого этапа, обеспечившими становление коннекционизм как научного направления, были всего несколько человек. Это вышеупомянутые Уоррен Мак-Каллок и Уолтер Питтс. Еще Фрэнк Розенблатт (Frank Rosenblatt, 1928–1971), он попытался первым реализовать идеи коннекционизма на практике в устройстве, названном им персептроном. И, наконец, канадский физиолог и нейропсихолог Дональд Хебб (Donald Hebb, 1904–1985), он первым предложил работающий алгоритм обучения ANN. Упрощенно их деятельность можно представить в виде последовательности: Мак-Каллок и Питтс, создают модель ANN, Хебб распространяет принципы машинного обучения на ANN, а Розенблатт пытался материализовать коннекционизм.

Совместно эти немногочисленные действующие лица первого этапа заложили фундамент для развития коннекционизма, но в силу ряда обстоятельств они не смогли противостоять наступлению временного спада активности в этом направлении, который по аналогии с «зимой AI» назвали «зимой коннекционизма», продлившейся более 20 лет. Наступление этой зимы обычно связывают с выходом книги Марвина Минского и Сеймура Паперта (о нем в Главе 9) «Персептроны» (Perceptrons: an introduction to computational geometry, 1970), где идеи коннекционизма были подвергнуты серьезной критике. Нельзя сказать, что позиция Минского и Паперта не имела право на существование, дальнейшее показало, что взгляды основоположников коннекционизма изрядно страдали механистичностью, но справедливости ради надо сказать, что главная причина наступления зимы коннекционизма, конечно же, в отсутствии технологий для полноценной материализации их замыслов. Если бы нашлись соответствующие технологии, развитие пошло бы иным путем.

Итак, коннекционизм начался с работ Уоррена Мак-Каллока и Уолтера Питтса, их считают основателями нейрокомпьютинга, поскольку они первыми показали как простые цепочки нейронов, объединенные в группы, оказываются способными к вычислению логических функций. Результатом работы дуэта MCP стала констатация того факта, что таблицы истинности любой сложности могут быть собраны из нейронов, они показали достаточные условия для воспроизведения логических функций средствами ANN. Предложенная ими в 1940 году простая модель нейрона (simple threshold model) реализует функцию, называемую threshold function, или activation function, она воплощается в устройстве threshold gate. На русский язык название функции переводится как функция активации нейрона, она определяет выходной сигнал, а ее значение определяется входным сигналом или набором входных сигналов. Обычно в этом качестве используется нормализуемая сигмоидная функция активации. Нейрон, выполняющий сигмоидную функцию, называют threshold neuron, или пороговый нейрон.