Она пристально смотрит на меня.

— Может ли их искусственный разум обернуться против человечества?

— Возможно.

— Тогда, какого черта, Торн? — в ужасе шепчет она.

— Яма запрограммирован не создавать страдания другим. Первоначальные и главные протоколы его спрограммированы так, что он должен помогать и быть другом всему человечеству, но он также не является ни добром, ни злом. Он просто действует самым эффективным образом.

— Тогда почему ты сказал «возможно»?

Я вздыхаю.

— Потому что существует возможность, что люди могут встать препятствием на пути ИИ.

— Объясни, прошу тебя.

— Все будет зависеть от того, как ИИ будет интерпретировать свою цель. Как человек, я могу запрограммировать его на благородную цель — заставить всех людей улыбаться. Человек будет шутить или совершать что-то хорошее для человечества. Но сверх интеллектуальное существо может решить, что самый эффективный и действенный способ достижения этой цели — установить контроль над миром и просто втыкать электроды в лицевые мышцы или мозг людей на планете, вызывая тем самым постоянно сияющие улыбки.

— Господи, Торн. Скажи мне что-нибудь, что не напугает меня до смерти, прошу тебя.

Честно говоря, я хмурюсь от ее слов.

— Существуют меры безопасности, которые я написал для Яма, чтобы он не причинял ущерб людям.

— После всего, что ты мне только что рассказал, ты полностью уверен, что сможешь контролировать этого... демона, которого создал? По твоему же признанию, он в миллионы раз умнее тебя.

— Если мы выпускаем генетически модифицированных комаров в дикую природу, мы тоже рискуем. Прогресс всегда сопровождается риском.

— Хотя бы скажи мне, что когда все зайдет слишком далеко и станет действительно плохо, мы сможем его отключить.

Торн начинает мяться с ноги на ногу.

— К тому времени, когда начнется эта стадия, с таким же успехом можно будет попросить шимпанзе щелкнуть выключателями, чтобы остановить нас и не уничтожать их естественную среду обитания.

Она хмурится.

— Но шимпанзе не создали нас.

— Да, это так. Но, где находится выключатель для интернета, ты знаешь?

Она отрицательно качает головой, ее глаза наполнены страхом.

— Какое нас ожидает будущее, Торн?

— Оно может быть замечательным. Грядут огромные невообразимые изменения. Люди больше не будут столько работать, роботы за них будут делать всю тяжелую работу, люди будут заниматься продажами и дистрибьюцией, компании, специализирующиеся в сфере развлечений, найдут занятие для каждого, моделируя реальность, и ученые заключат контракт с коммерческими агентами. Часть людей естественным образом будет порабощена из-за своего умственного состояния. Мы добьемся большего результата при меньших ресурсах.

— Вау! Минуточку. Я правильно только что услышала, что часть людей естественным образом будет порабощена из-за своего умственного состояния?

— Да. Это неизбежно. Некоторые люди уже и так порабощены технологиями. Не слишком сложно думать о мире, где имеются люди, предпочитающие жить в цифровой реальности, нежели в естественной реальности, ты не находишь?

— Ты решил поиграть в Бога, Торн? Ты решил привнести нечто в мир, в чем сам не уверен, — грустно замечает Челси.

— Может быть.

— Зачем ты хочешь стать триллионером, Торн? Разве тебе всего этого не хватает? Помнишь Царя Мидаса?

Я смотрю ей в лицо, и моя мечта стать первым в мире триллионером оставляет у меня во рту неприятный привкус. Я могу убеждать себя и Челси уйму времени о существенных мерах предосторожности, которые предпринял, но я точно знаю, что это не так. Все меры безопасности бесполезны, когда имеешь дело с бессмертным врагом, который в сто миллионов раз умнее тебя самого и думает со скоростью света. Я знаю лучше, чем кто-либо, что создание роботов с теплой кожей и глазами ребенка на самом деле скрывает единственный факт — они холодные машины, не обладающие душой. Не следует их недооценивать и возлагать особые надежды. Обладая мозгом в миллион террабайт и когнитивными способностями в какой момент у них остро встанет вопрос — люди станут препятствием для целей ИИ.

— Я могу уничтожить его, как только достигну своей цели, — настойчиво произношу я.

— Знаешь, я однажды видела программу по телевизору о людях, которые держат у себя дома диких хищников. Там была женщина, которая держала у себя в гараже взрослого крокодила. И показывали, как она его кормила. Она нанизывала тушку цыпленка на длинный шест и протягивала его в дверь гаража. Крокодил выпрыгивал из бассейна, в котором жил, хватал еду своими челюстями, а женщина в страхе каждый раз дергалась назад. Ты напоминаешь мне ее. Ты гладишь бесчувственного опасного крокодила и притворяешься, что это твой домашний питомец.