Вторая группа этических проблем связана с интерпретацией результатов программ человеком или автономным автоматизированным устройством. Если тема этики программирования обсуждается последние 15 лет, то вопрос неверных алгоритмов встал буквально в последние два-три года. Как любой сложный вопрос, он имеет множество акцентов. Главная проблемав том, что с массовым применением в программировании метода нейронных сетей даже разработчики, не говоря уже о предметниках, а тем более обычных профессиональных пользователях, как уже отмечалось, перестали понимать, почему программа делает именно такие выводы, а не иные.

Для того чтобы объяснить коллизию, придется в нескольких словах охарактеризовать отличие нейронных сетей от обычной программы. Обычная программ может быть записана на бумаге, как последовательность операций. Нейронная сеть – это самосовершенствующаяся программа. В ней задается исходно только архитектура и правила изменения удельных весов при принятии решения. Все остальное делает алгоритм. Грубо говоря, нейронные сети – это черные ящики. Известна только информация на входе и на выходе. И больше – ничего.

В тех случаях, когда нейронные сети помогают превратить фотографии в картины известных художников, никто не задает вопросов, как им это удается. Все восторгаются. Теперь же рассмотрим пример из уголовной практик.

Специалисты Массачусетского технологического института США(МТ1) еще в 2014 г. разработали программу COMPAS с элементами ИИ. Она применяется в настоящее время как экспертная система во многих судах штатов США для того, чтобы помочь судьям принять решения, рекомендовать ли ожидающим суда присяжных тюремное заключение или освобождение под залог и т. п. Программа успешно работала и получала замечательные отзывы. В итоге наряду с рассмотрением вопросов о выборе между тюремным заключением и освобождением под залог, она стала применяться также при решении вопроса об условно-досрочном освобождении.

Все было хорошо до тех пор, пока известный портал Propublica.org не опубликовал статью, привлекшую внимание всех США. Портал является электронной площадкой сообщества исследователей, негативно относящихся к ИИ. Группа известных математиков и программистов, входящих в сообщество, детально проанализировала систему COMPAS и смогла расшифровать черный ящик. Математические правила и закономерности, получившиеся в результате работы нейронных систем, удалось перевести на так называемый человекочитаемый язык. По итогам этой работы было установлено, что система априори уменьшает шансы на освобождение под залог и условно-досрочное освобождение лиц латиноамериканского происхождения, не имеющих легального статуса на территории США, а также афроамериканцев с уровнем дохода выше прожиточного минимума, но ниже среднего класса. Если первый вывод совпадал с интуицией, то второй породил всеобщее недоумение. Эксплуатация системы в результате разразившегося скандала была приостановлена.

Создатели программы COMPAS предложили порталу Propublica создать независимую группу – своего рода первый в истории Америки алгоритмическо-статистический суд, под руководством математического директора Google Абэ Гонга. Группа в течение нескольких месяцев детальнейшим образом анализировала человекочитаемые правила, выработанные нейронными сетями, и сравнивала их с массивами статистических данных, характеризующих статистику преступности. В сентябре 2016 г. группа вынесла вердикт, с которым согласились и создатели COMPAS, и портал Propublica. Абэ Гонг подтвердил, что алгоритмы COMPAS по построению нейронных сетей и глубокому обучению – математически безупречны. Безупречна также программа и в статистическом смысле. Статистическая безупречность означает то, что нейронным сетям удалось установить наиболее точную зависимость между входными данными и выходными. Т. е. между данными, представляющими профиль того или иного индивидуума и критериями риска.

Все рекомендации COMPAS были верны в инженерном смысле этого слова. COMPAS действительно минимизировал число условно-досрочных освобождений, после которых нарушители закона вновь совершали преступления, а также правильно определял, в каких случаях человека можно отпустить под залог, а в каких – лучше оставить за решеткой.

Вся проблема в том, что в основе деятельности COMPAS лежат статистические закономерности. Люди же привыкли принимать решения не только на основе статистики, но и, принимая во внимание ценностные критерии так, как они их понимают. COMPAS оказался негативно пристрастным к этническим меньшинствам, но при этом делал это на основе корректной интерпретации реальных данных.

Британский психолог Томас Хиллс полагает, что алгоритмы тоже могут совершать ошибки, поскольку они иногда воспринимают особенности окружения, которые коррелируют с итоговым результатом, хотя не имеют с ним причинно-следственной связи. В мире алгоритмов это называется переобучением. Когда это происходит, мы называем это суеверием.

На практике, пишет Хиллс, алгоритмы часто представляют собой проприетарные черные ящики, обновление которых запрещается законами коммерции. В книге «Оружие массового поражения» Кэти О’Нил от 2016 года описывается истинный парад уродов, составленный из коммерческих алгоритмов, чьи хитрые патологии портили людям жизнь. Особенно интересны алгоритмические разломы, разделяющие богатых и бедных. Бедные люди с большей вероятностью будут иметь проблемы с кредитом, жить в местах с повышенным уровнем преступности, в окружении других бедных людей с похожими проблемами. Из-за этого алгоритмы выбирают этих людей в качестве целей обманчивой рекламы, питающейся их отчаянием, предлагают им субстандартные займы, отправляют в районы их проживания больше полицейских, увеличивая вероятность того, что полиция задержит их за совершение преступлений, которые происходят с той же частотой и в более богатых районах. Алгоритмы, используемые системой правосудия, назначают таким людям большие сроки, уменьшают их шансы на условно-досрочное освобождение, блокируют для них вакансии, увеличивают проценты по ипотеке, требуют большие взносы за страховку и т. д.

Этот алгоритмический замкнутый круг скрыт в матрешках, состоящих из черных ящиков: алгоритмы-черные ящики, прячущие процесс обработки в своих мыслях высших измерений, к которым у нас нет доступа, спрятаны в черных ящиках проприетарных прав на алгоритмы.

Алгоритмы, тренируясь на человеческих данных, приобретают и наши искажения. В исследовании под руководством Айли Калискан из Принстонского университета было обнаружено, что алгоритмы, тренирующиеся на новостях, очень быстро приобретают расовые и половые предубеждения. Как отметила Калискан: «Многие люди считают, что у машин нет предубеждений. Но машины тренируются на человеческих данных. А у людей предубеждения есть».