Особое место в этой когорте принадлежит Владимиру Наумовичу Вапнику, автору машины опорных векторов (support vector machines, SVM), впервые предложенной им в 1963 году вместе с Александром Яковлевичем Лернером в статье «Узнавание образов при помощи обобщенных портретов». Эта работа нашла продолжение в совместно статье Вапника с Алексеем Яковлевичем Червоненкисом «Об одном классе персептронов» (1964). SVM реализуют уникальный по сравнению с другими алгоритмами способ реализации машинного обучения. В том же году и в том же журнале «Автоматика и телемеханика» вышла статья трех авторов М. А. Айзерман, Э. М. Браверман и Л. И. Розоноэр «Теоретические основы метода потенциальных функций в задаче об обучении автоматов разделению входных ситуаций на классы». В полном объеме статистическая теория обучения на базе SVM изложена в книгах Вапник В. Н., Червоненкис А. Я. «Теория распознавания образов» (1974) и Вапник В. Н. «Восстановление зависимостей по эмпирическим данным» (1979). Они были переведены на английский и немецкий языки. В. Н. Вапник остается единственным представителем отечественной научной школы среди ученых, получивших признание за их вклад в машинное обучение.

И первые обучаемые шахматные программы, и машина Цетлина, и многое другое из 60–70-х годов для современного исследователя представляет исключительно исторический интерес. То, что мы понимаем под ML сегодня, началось с работы Дональда Хебба, описанной им в книге «Организация поведения: нейропсихологическая теория» (The Organisation of Behaviour, 1949), где он распространил принципы ассоциативного обучения на ANN, его подход называют Hebbian Learning (HL). Предпосылки к HL заимствованы из биологии, и они остаются актуальными вплоть до наших дней. До него нейробиологи в общих чертах понимали, как работают нейроны, однако именно он первым предложил механизм, согласно которому нейроны могут кодировать ассоциации.

Дональд Хебб признан основоположником ассоциативного машинного обучения, в некоторой мере напоминающего ассоциативное обучения человека. В психологии под ассоциативным обучением понимают способность приобретать знание, привычки, умение, навыки, представления, предпочтения и т. д. Для человека оно не является единственным, педагогика насчитывают около двух десятков типов обучения, к которому способен человек, машины же способны только к одному типу обучения – ассоциативному (Associative learning), ограниченному только тем, что в его процессе обучаемый обнаруживает связь (ассоциацию) между двумя стимулами или событиями. В полном смысле этого слова к ассоциативному обучению способен только человек, существенно меньшими способностями обладают животные. В XX веке в этом ряду обучаемых систем появилась машина.

Хебб показал возможность обучения посредством воздействия на синаптическую связь, соединяющую два искусственных нейрона. Она изменяется, если в процессе обучения оба нейрона согласованно испытывают возбуждение, либо торможение, то есть один нейрон может возбуждать другой нейрон, и после повторяющейся активации клетки «нейроны, которые срабатывают вместе, соединяются» и таким образом происходит обучение. При возбуждении одновременно двух соседствующих нейронов вес синаптического соединения между ними возрастает, уменьшается или не изменяется в зависимости от выбора функции активации. Это предположение называют Правилом обучения Хебба. В его книге оно определено так: «Если аксон клетки А находится достаточно близко, чтобы возбуждать клетку B, и неоднократно или постоянно принимает участие в ее возбуждении, то наблюдается некоторый процесс роста или метаболических изменений в одной или обеих клетках, ведущий к увеличению эффективности А, как одной из клеток возбуждающих В». Правило Хебба не обладает прямым действием, из него не следует, как именно строить процесс обучения, оно допускает множество трактовок, как со стороны нейрофизиологов, так и математиков. За прошедшее время правило Хебба стало предметом многочисленных обсуждений, возникли его многочисленные модификации, но по сути оно остается единственным теоретическим основанием ML, поскольку нейрофизиологический постулат, выдвинутый Хеббом, имеет под собой прочное биологическое основание.

Возникают естественные вопросы: «Что задержало развитие машинного обучения как базиса для AI на несколько десятилетий? Почему оно уступило свое место символьному подходу, чтобы потом возродиться и практически полностью его вытеснить?» Ответ довольно прост, он обращает нас в проблеме «mind and body» (тела и души) – машинному обучению нужно тело, нужна система параллельной распределенной обработки данных (Parallel Distributed Processing, PDP), что принципиально невозможно на компьютерах, построенных по фон-неймановской схеме, вполне удовлетворяющей требованиям символического подхода. Как только открылась технологическая возможность материализации альтернативного символическому коннекционистского подхода машинное обучение расцвело бурным цветом.

Первым человеком, попытавшимся доступными ему скудными техническими средствами преодолеть барьер современного ему компьютинга и реализовать какое-то подобие PDP, был Фрэнк Розенблатт. Он ввел понятие персептрон (от латинского perceptio – восприятие) для математической или компьютерной модели восприятия информации мозгом. С тех пор представление о персептроне заметно изменилось, в современных учебниках и энциклопедиях персептрон трактуется и как математическая или кибернетическая модель восприятия информации мозгом, и как виртуальное устройство, состоящее из элементов трех типов: датчиков (тип S), передающих сигналы ассоциативным элементам (тип A) и далее реагирующим элементам (тип R). Собранные в группу такие устройства способны к восприятию (перцепции) в частном случае зрительных образов. Трактовок так много, что появляются статьи с называниями What the Hell (или Heck) is Perceptron?, что можно перевести как «Что за хреновина это персептрон?» Скорее всего, потому, что персептроном можно назвать и модель отдельного нейрона, и нейронную сеть, состоящую из группы нейронов, и стек простых нейронов, образующих многоуровневый персептрон (Multi-Layer Perceptron) и сеть из таких более сложных нейронов. Они объединены способностью к перцепции.

Можно обнаружить огромное множество статей, где в деталях разбирается работа именно той конкретной модели нейрона, которую предложил Розенблатт, анализируется ее возможности и недостатки, хотя сегодня устройство этой модели не имеет большого значения. К работе Розенблатта стоит отнестись примерно так, как к изобретенному Николаусом Отто двигателю внутреннего сгорания. В наше время лишено смысла проводить детальный анализ этого примитивного по современным представлениям двигателя конца XIX века, достаточно знать, что на нем поехал первый автомобиль Даймлера и Бенца, в этом его историческая миссия, с него начитаюсь автомобилизация. То же самое относится к персептрону Розенблатта, по объективным причинам он остался в прошлом, однако сыграл точно такую роль пускового механизма, как двигатель Отто.

Но сам Розенблатт отнесся к нему иначе, он рассматривал персептрон не просто как модель мозга, наделял его большими возможностями, он писал о нем как «первой машине, способной к собственным идеям». Основанием для этого смелого утверждения был удачный эксперимент, результаты которого стали достоянием гласности в июле 1956 года, точно в то же время, когда проводился Дартмутский семинар. Программная модель персептрона была загружена в один из первых серийных мэйнфреймов IBM 704, построенных на лампах, с памятью на линиях задержки, еще даже не с ферритовой. Эксперимент проводился в военно-морской лаборатории Корнельского университета. Эта программа сортировала вводимую колоду перфокарт, деля ее на две с разными кодами перфорации. Программа обладала способностью к обучению и через пятьдесят проходов смогла выполнять задание безошибочно. Скромность результата не помешала Розенблатту сделать в статье «Проектирование умных автоматонов» (The Design of an Intelligent Automaton) следующее амбициозное заявление: «Истории о создании машин с человеческими способностями много лет волновали писателей-фантастов, но теперь мы становимся свидетелями рождения таких машин – машин, способных воспринимать, распознавать и идентифицировать окружающее без вмешательства человека в процесс обучения». Удивительно похоже на ленинское «Революция, о необходимости которой все время говорили большевики, совершилась».