Обратимся к недавней истории. Джеймс Олсон (James Olson) приводит примеры того, как странам с враждебными режимами, пытающимся нелегально получить мощные компьютеры, запрещенные к продаже, давали возможность украсть или купить предварительно подготовленную компьютерную систему со специальными "закладками" ("логическими бомбами"), которые приводили, например, к опасным скачкам давления в трубопроводе, находящемся под контролем этой системы, или к другим нештатным, потенциально опасным ситуациям.[Olson J. Fair play: the moral dilemmas of spying. Washington: Potomac Books, 2006. ]Олсон не анализирует эти относительно недавние ситуации с точки зрения развития компьютерных технологий, его интересуют моральные дилеммы. Но мы обратимся именно к возможному развитию компьютерных технологий.

Нет сомнений, что подобные ситуации могут повторяться, но уже на новом витке. Если в будущем способность интеллектуальных систем обучаться станет критически важной характеристикой, дающей значительное конкурентное преимущество, то с большой вероятностью обладатели этих систем введут те или иные ограничения и запреты на доступ к ним, на их приобретение и т. д. А тем субъектам, кто попытается нелегально обойти эти ограничения, время от времени будут предлагаться системы с "троянской начинкой" - но уже в отношении способности учиться. Это могут быть системы, чьи способности к обучению ниже ожидаемых, обучающиеся не совсем тому или даже совсем не тому, что нужно пользователю, и т. д.

Предварительно подчеркнем: говорить о противодействии обучению технической системы, "межкомпьютерном" троянском обучении и т. д. имеет практический смысл, только если реализуемы сами эффективные обучающиеся и обучающие компьютерные системы (споры же об их реализуемости ведутся ожесточенные). Любое троянское обучение использует особенности "просто" обучения (обучения "без злого умысла"), паразитируя на нем, и возможно лишь на его основе. После этой оговорки продолжим рассуждение о потенциальных направлениях развития "умных" технических систем.

Несмотря на дискуссионность вопроса, в настоящее время многие исследователи считают важнейшим и самым перспективным направлением в области искусственного интеллекта создание систем, способных к обучению. Со своей стороны заметим: в силу психологических закономерностей в случае появления высокоэффективных обучающихся систем некоторые из людей, работающие в областях жесткой (жестокой) конкуренции, займутся созданием обучающихся систем второй и последующих ступеней. То есть среди направлений развития искусственного интеллекта может появиться разработка компьютеризованных систем:

а) противодействующих обучению других технических систем, понижающих их обучаемость и "интеллектуальный уровень" (это может быть выгоднее, чем прямое уничтожение системы или полная и явная остановка ее функционирования);

б) систем, обучающихся и повышающих свой "интеллектуальный уровень" именно в условиях противодействия их функционированию.

Эти возможности развития обучающихся систем искусственного интеллекта совершенно не осознаются.

Более того, прогнозы в связи с обучением интеллектуальных систем делаются оптимистические, обещающие всеобщий расцвет и гармонию. Но на самом деле тому, кто считает, что обучаемость технического устройства - управляемая переменная, изменяющаяся в определенном диапазоне, один шаг до того, чтобы понять: можно пытаться не только поднимать значение этой переменной, но и опускать его до нуля. Затем кто-то может попытаться придать содержательный смысл переводу обучаемости в значения ниже нуля, в отрицательную область - эскалация возможностей представляется здесь безграничной.

Интересно, что сейчас среди огромного количества научной и ненаучной литературы, эксплуатирующей тему столкновения систем искусственного интеллекта (например, роботов, враждующих суперкомпьютеров и т. д.) как их физической схватки, перепрограммирования друг друга и т. д., нам не удалось обнаружить констатации того, что полем конкуренции систем искусственного интеллекта может стать обучаемость, ее повышение и понижение - и это при том, что сама способность приобретать знания оценивается невероятно высоко. Почему-то мало осознается, что придание высокого веса знаниям и обучаемости в картине мира может вести соперников - не только людей - как к повышению своей собственной обученности и обучаемости, так и к попыткам ослабления чужой.

Что думают эксперты в области информационных технологий по поводу проблемы "совместного обучения" искусственных систем - при ее явно представленной формулировке? Как часто подчеркивается, в области спамовой и антиспамовой борьбы, на этом переднем крае развития интеллектуальных систем, контуры которого видны и рядовому пользователю, сражаются именно самообучающиеся программы, причем их самообучение все более эффективно.

Поэтому я обратился с вопросом к разработчикам антиспамовой защиты Яндекса, опубликовавшим статью "Принципы и технические методы работы с незапрашиваемой корреспонденцией", - И. Сегаловичу, Д. Тейблюму, А. Дилевскому, а также разработчику языков программирования и компьютерных программ различного назначения, в том числе антиспамовых фильтров, писателю и художнику Полу Грэму (очень рекомендую его статью "Хакеры и художники"). Я спросил, считают ли они, основываясь на своем опыте, что возможными направлениями развития искусственного интеллекта может стать разработка систем: а) противодействующих обучению других систем искусственного интеллекта; б) обучающихся в условиях противодействия. От российских авторов я не получил отклика (возможно, из-за надежной работы антиспамовых фильтров Яндекса). Грэм ответил утвердительно на обе части вопроса и подчеркнул: спамовые фильтры сейчас разрабатываются так, чтобы в процессе обучения их было трудно обмануть, и в целом в большинстве областей искусственного интеллекта решения будут такими, чтобы избежать обмана.

Зарубежная фирма предложила Государственному научному центру РФ "Физико-энергетический институт" бесплатное обучение технологии компьютерных расчетов для атомных электростанций. При юридической экспертизе оказалось, что в случае принятия предложения фирма может, пользуясь правом интеллектуальной собственности, наложить вето на любую международную сделку института, в которой использовалась эта технология. Глава Центра охарактеризовал это обучение как средство "закабаления конкурента" [Коновалова И., Коновалов Б. Все на Продажу // Вечерняя Москва. №28 (22313). 5 февраля 1998. С. 6.]. В данном примере важно, что чем качественнее и универсальнее было бы исходное обучение и чем шире обучаемые использовали его результаты, тем масштабнее и разрушительней стал бы эффект последующих действий стороны, организовавшей обучение. Это обучение должно было стать поистине троянским.