Роботы с более сильным, чем у нас, интеллектом – уже свершившийся факт. Чего пока нет, это роботов с сознанием. Как только появится робот, у которого есть сознание своего Я, нам конец. Если у робота будет свое Я, у него будут свои цели, мотивы, планы. Мы в эти планы, я вас уверяю, входить не будем. Чтобы от нас избавиться, ему достаточно будет немножко поднять на планете температуру, чтобы растаяли льды и изменились течения – и все будет под водой, спокойно и тихо. Или немного подкрутить саранче хромосомы, чтобы ее было в восемьсот миллионов раз больше, чтобы она просто все съела, и нам конец. Я, конечно, фантазирую, но общий вектор не путаю.

Срастание людей с компьютерами уже произошло. Искусственные органы, вживление в голову чипов, увеличивающих память, внимание, скорости, – дело завтрашнего дня. Встанут вопросы, в том числе и юридические, о том, как сравнивать людей с чипами и без них. В отличие от научных фантастов я говорю всерьез: я не уверена, что мы сможем с этим психологически справиться. Если сейчас я знаю, что задачу решаю я, что считаю я плохо, в будущем станет совсем непонятно, где кончается Я и начинается приборчик в моей голове. В статье Where Is My Mind? американский философ Джерри Фодор в шутку описывает пылесос с искусственным интеллектом. Когда пылесос проголодается, он подъезжает к розетке, встает боком, ест и идет дальше. Значит, рассуждает автор, у него есть ментальная репрезентация. Ученый открывает (!) пылесос, но никакой ментальной репрезентации там не видит, только кошачью шерсть и прочий мусор.

Джерри Алан Фодор – р. 1935 – Американский философ, психолог и лингвист, автор концепций модулярности сознания и «языка мысли».

Эта лекция не случайно посвящена нейроэтике. Предположим, мы делаем снимок мозга серьезного преступника, который уже сидит в тюрьме. Потом нейроученые сравнивают с этой картинкой снимки мозга свободного человека и говорят: этот человек – потенциальный серийный убийца, у него такой мозг. В любом приличном обществе действует презумпция невиновности. Что же делать с этим человеком: ждать, пока он убьет кучу народу, или сразу сажать в клетку? А что если он уедет в Индию, сядет под манговое дерево и лет восемьдесят будет там медитировать? Я задавала этот вопрос юристам, и они не готовы на него ответить.

В Америке уже не только в фильмах, но и в серьезных научных журналах все чаще фигурирует такая фраза: It’s not me, it’s my brain. Фраза используется для оправдания своих поступков: «Это сделал не я, а мой мозг, не виноват же я, что он у меня такой плохой». Примечательно, что используется не слово «сознание», а слово «мозг», обозначающее конкретный физический объект. Если человек не виноват, что родился уродом, наказывайте его мозг. Нетрудно догадаться, что эта история не исчерпана.

Создается сложная ситуация. Тот же инструмент, что позволит нам «выключить» в геноме человека гены, вызывающие болезнь Альцгеймера или рак молочной железы, может быть использован для создания не чувствующих боли солдат, у которых нет угрызений совести. Не лучший пример, потому что сейчас и техника все может делать сама, но идея ясна.

С наукой надо быть очень аккуратным. Наука занимается анализом, берет хорошую вещь и режет ее на части. Загвоздка в том, что при таком анализе самое главное зачастую пропадает. Наши знания о том, как функционирует мозг, несильно вырастут, если мы его, как капусту, нашинкуем во всех деталях. Самое важное находится не там.

Общество сегодня совершенно не осознало себя единой семьей. Планета покрыта страшным хламом. Человечество ведет себя так, как будто у него есть другое место жительства. Меня не удивляет, когда дикие, неразвитые люди, загадив один дом, переезжают в другой, но нам переехать некуда. Об этом все говорят, но на жизнь это абсолютно никак не влияет. Между прочим, это касается каждого, а уж то, что наших детей, – и разговора нет. Общество мало учитывает полученные наукой знания. Так, новые знания не участвуют в организации образования: вместо того чтобы на самом деле изменить и лучше использовать человеческие интеллектуальные ресурсы, вводят простой вариант ЕГЭ. В результате общество не готово к глобальной оценке социальных и природных явлений.

Нужно ясно осознать, что мы находимся в ситуации опасности для цивилизации. Не только потому, что какой-нибудь придурок может нажать кнопку и все взорвать. Опасность у нас в головах: мы не то делаем!

Максим Кронгауз – Доктор филологических наук, профессор РГГУ и РАНХиГС, директор Института лингвистики РГГУ.

Перед вами текст, основанный на лекции, прочитанной по приглашению проекта «Сноб» 17 сентября 2014 года в Москве, в гостинице «Украина».

В 1949 году вышел в свет великий роман Nineteen Eighty-Four («1984»). Это был последний и главный роман английского писателя Джорджа Оруэлла, умершего 21 января 1950 года. Роман-антиутопия стал своего рода путеводной антизвездой для его читателей, с нетерпением ожидавших 1984 года как некоторой даты-символа с не вполне ясным значением.

Джордж Оруэлл – 1903–1950 – Английский писатель и публицист. Автор повести «Скотный двор» и романа «1984». Первым употребил выражение «холодная война», широко вошедшее в политический обиход 1950-х годов.

Считается, что роман писался с натуры, которой служили два тоталитарных общества: немецкое времен Третьего рейха, созданное фашистами, и советское, созданное вскоре после революции 1917 года большевиками. Ко времени написания романа уже закончилась война, фашистская Германия прекратила свое существование, и роман воспринимался прежде всего как книга о Советском Союзе.