Вход/Регистрация
Прими красную таблетку: Наука, философия и религия в «Матрице»
вернуться

Йеффет Гленн

Шрифт:

Больше всего меня встревожил отрывок, в котором подробно излагался следующий дистопичный сценарий:

Новый луддитский вызов

Прежде всего давайте допустим, что специалисты по вычислительной технике преуспели в разработке разумных машин, способных делать все лучше человека. Предполагается, что при таких условиях вся работа будет выполняться многочисленными высокоорганизованными системами машин, и при этом в каких-либо усилиях со стороны человека не будет необходимости. Здесь становятся возможными два варианта. Машины могут получить разрешение принимать свои решения без вмешательства человека, либо человеческий контроль над машинами может быть сохранен.

Если машинам позволят принимать решения самостоятельно, мы не можем делать никаких предположений относительно результатов этих решений, поскольку предугадать действия таких машин невозможно. Подчеркнем лишь то, что судьба человечества в этом случае окажется во власти машин. Можно было бы утверждать, что человечество никогда не будет настолько глупым, чтобы передать машинам всю полноту власти. Однако мы не рассчитываем ни на то, что люди добровольно отдадут власть машинам, ни на то, что машины умышленно захватят власть. Мы как раз предполагаем, что человечество может с легкостью дойти до такой зависимости от машин, что у него не останется другого реального выбора, кроме как соглашаться со всеми решениями машин. По мере того как общество и проблемы, с которыми оно сталкивается, будут усложняться, а машины становиться все умнее и умнее, люди будут позволять машинам принимать за них все больше решений просто потому, что решения, принятые машинами, будут давать лучшие результаты, чем решения, принятые самими людьми. В конечном итоге может настать такой момент, когда решения, необходимые для поддержания системы в рабочем состоянии, достигнут такой сложности, что люди окажутся не способны принимать их. На этом этапе машины приобретут эффективный контроль. Люди просто не смогут выключить их, потому что их зависимость от машин будет настолько сильна, что отключение машин будет равнозначно самоубийству. С другой стороны, возможно, что люди сохранят контроль над машинами. В этом случае среднестатистический человек может контролировать определенные машины, находящиеся в его личном пользовании, например свою машину или свой компьютер, в то же время контроль над крупными системами машин будет находиться в руках крайне немногочисленной элиты — прямо как сейчас, но только с двумя отличиями. Благодаря улучшенной технологии элита приобретет больший контроль над массами, а поскольку человеческий труд перестанет быть необходимостью, массы станут ненужным, бесполезным бременем для системы. Если элита будет отличаться беспощадностью, она может просто решить ликвидировать большую часть человечества. Если элите будет свойствен гуманизм, она может воспользоваться пропагандой или другими психологическими либо биологическими приемами для сокращения уровня рождаемости до такого уровня, при котором большая часть человечества вымрет сама, оставив мир элите. Есть другой вариант. Если элита будет состоять из мягкосердечных либералов, они могут начать играть роль доброго пастыря по отношению к остальному человечеству. Они будут следить за тем, чтобы удовлетворялись физические потребности всех и каждого, чтобы все дети росли в психологически безопасных условиях, чтобы у каждого человека было полезное хобби и он не слонялся без дела, и чтобы каждый, если вдруг почувствует себя неудовлетворенным, получал соответствующее «лечение», помогающее ему выздороветь и избавиться от этой «проблемы». Разумеется, человеческая жизнь станет настолько бесцельной, что людей придется настраивать биологически или психологически, либо ликвидировать их потребность в обретении власти. Либо заставить их сублимировать стремление к власти в какое-нибудь безвредное увлечение. Возможно, эти управляемые человеческие существа и будут счастливы в таком обществе, однако почти точно можно сказать, что они не будут свободны. Людей сведут до уровня домашних животных. [182]

182

Курцвейль цитирует отрывок из «Манифеста Унабомбера» Качинского, который был одновременно опубликован, причем под давлением, в New York Times и Washington Post, чтобы попытаться положить конец террору. Я согласен с Дэвидом Джелернтером, так высказавшимся об этом решении: «Газеты столкнулись с трудным требованием. Сказать «да» значило пойти на поводу у терроризма, несмотря на то, что они знали — он в любом случае лжет. С другой стороны, ответ «да» мог остановить убийцу. Кроме того, существовала возможность, что кто-нибудь, прочитав газету, поймет, кто мог это написать. Именно так и случилось. Брат подозреваемого прочел публикацию, и это стало звонком. Я бы посоветовал им не публиковать. Хорошо, что они меня не спросили. Так мне кажется» (Gelernter, p. 120).

В книге этот отрывок дается так, что, лишь прочтя его целиком, вы узнаете, что его автор — Теодор Качинский (Унабомбер). Я не защищаю Качинского. За семнадцатилетнюю террористическую кампанию его бомбы лишили жизни троих и причинили ранения многим другим людям. Во время взрыва одной из его бомб был серьезно ранен мой друг Дэвид Джелернтер, один из самых выдающихся и проницательных специалистов по вычислительной технике нашего времени. Как и многие мои коллеги, я чувствовал, что легко могу стать следующей мишенью Унабомбера.

Действия Качинского отличались крайней жестокостью и, на мой взгляд, являлись преступным безумием. Он явный луддит, однако просто констатировать этот факт не значит опровергнуть его аргументы. Мне было трудно это признать, но я увидел нечто убедительное в рассуждениях, изложенных в вышеприведенном отрывке. И я почувствовал себя обязанным опровергнуть их.

В мрачных предвидениях Качинского описываются непреднамеренные последствия, широко известная проблема в разработке и использовании технологий, та самая, которая имеет очевидное отношение к закону Мерфи — «если что-то может пойти не так, то это обязательно случится». (На самом деле это закон Финейгла, что само по себе уже доказывает, что Финейгл был прав.) Наше злоупотребление антибиотиками привело к тому, что может оказаться самой большой проблемой на данный момент, — к появлению устойчивых к антибиотикам и куда более опасных бактерий. То же самое случилось, когда были предприняты попытки уничтожить малярийных москитов при помощи ДДТ, что вынудило их развить устойчивость к этому препарату. Более того — малярийные паразиты приобрели гены, посредством которых наследуется устойчивость ко многим химическим веществам. [183]

183

Garrett, p. 47–52, 414,419,452.

Причина многих подобных сюрпризов, по-видимому, ясна: дело в том, что речь идет о сложных системах, между частями которых существует взаимодействие и обратная связь. Любые изменения в подобной системе вызовут целый поток труднопредсказуемых последствий; это утверждение особенно справедливо для деятельности человека.

Я начал с того, что показал друзьям цитату Качинского из книги «Эпоха одухотворенных машин». Я дал им книгу Курцвейля, открыв ее на нужном месте, а потом отметил их реакцию, когда они узнали, кому принадлежит авторство этого отрывка. Примерно в это же время я открыл для себя книгу Ганса Моравека «Робот: От простой машины к трансцедентному разуму». Моравек является одним из ведущих исследователей в области робототехники, а также основателем самой крупной в мире исследовательской программы в рамках робототехники. Эта программа запущена в университете Карнеги-Меллон. Книга Моравека дала мне еще больше материала для апробирования его на моих друзьях. Он удивительным образом подтверждал доводы Качинского. К примеру:

Вскоре (начало XXI века)

Биологические виды почти никогда не выживают после встречи с превосходящим их соперником. Десять миллионов лет назад Южная и Северная Америки были разделены затонувшим Панамским перешейком. Подобно сегодняшней Австралии, Южная Америка была тогда населена сумчатыми млекопитающими, включая сумчатых животных, похожих на современных крыс, оленей и тигров. Когда перешеек, соединявший Северную Америку с Южной, поднялся, северным плацентарным видам, обладавшим чуть более эффективным метаболизмом, а также репродуктивной и нервной системами, потребовалось всего лишь несколько тысяч лет для того, чтобы вытеснить и уничтожить почти всех южных сумчатых.

На абсолютно свободном рынке более совершенные роботы, без сомнения, будут воздействовать на людей так, как североамериканские плацентарные виды на южноамериканских сумчатых (и точно так же, как люди, уничтожившие бесчисленное множество биологических видов). Завязанные на робототехнику отрасли будут яростно конкурировать между собой за сырье, энергию и пространство, в результате чего цена на них выйдет за пределы возможностей человека. Поскольку биологические люди не смогут позволить себе предметы первой необходимости, они будут лишены права на существование. Не исключено, что здесь есть какой-то выход, поскольку мы живем в условиях не абсолютно свободного рынка. Правительство сдерживает нерыночное поведение, особенно посредством сбора налогов. Если применять эти методы сдерживания благоразумно, то это поможет поддерживать жизнь людей на высоком уровне благодаря плодам труда роботов, причем, возможно, в течение долгого времени.

Всего-то мрачные фантазии автора, а у читателя уже дрожат коленки. Далее Моравек пишет, что нашей главной заботой в XXI веке станет «обеспечение непрерывного сотрудничества с отраслями робототехнической промышленности» путем принятия законов, предписывающих им «хорошее поведение». [184] Моравек не упускает случая описать, насколько опасным может оказаться человек, «однажды трансформированный в ничем не ограниченного сверхразумного робота». По мнению Моравека, в конечном итоге роботы сменят людей, и человечеству придется столкнуться с вымиранием.

184

В книга «Я, робот» (1950) Айзек Азимов описал ставшее самым известным представление об этических нормах поведения для роботов, которое нашло выражение в Трех законах для роботов: 1. Робот не может действием или бездействием повредить человеку. 2. Робот должен исполнять приказы, отданные людьми, за исключением тех приказов, которые противоречат Первому закону. 3. Робот должен защищать самого себя, пока эта защита не входит в противоречие с Первым или Вторым законом.

Я решил, что пришла пора переговорить с моим другом Дэнни Хиллисом. Дэнни прославился как соучредитель Thinking Machine Corporation, в которой был создан очень мощный параллельный суперкомпьютер. Несмотря на то что моя сегодняшняя должность звучит как руководитель исследовательских работ в компании Sun Microsystems, я в большей степени практик, чем ученый. Так что я уважаю познания Дэнни в области информатики и физики больше, чем любого другого знакомого мне человека. К тому же Дэнни — весьма уважаемый футуролог, делающий долгосрочные прогнозы. Четыре года назад он основал Long Now Foundation. Фонд занимается созданием часов, способных функционировать 10 000 лет, с целью привлечь внимание к ничтожно малой продолжительности существования нашего общества. [185]

185

Hillis, p. 78.

Так что я полетел в Лос-Анджелес. У меня была конкретная цель — отобедать с Дэнни и его женой Пэти. Я изложил им все свои соображения, заостряя внимание на идеях и эпизодах, так меня волновавших. Свой ответ, особенно по отношению к версии Курцвейля относительно слияния людей с роботами, Дэнни сформулировал быстро. Этот ответ порядком удивил меня. Дэнни сказал, что изменения будут происходить настолько постепенно, что мы свыкнемся с ними.

Ответ этот не так уж сильно потряс меня. Я уже видел цитату Дэнни, приведенную в книге Курцвейля. «Я точно так же люблю свое тело, как любой другой, но если я смогу жить двести лет с телом из кремния, то я пойду на это», — сказал Дэнни. Похоже, он вполне соглашался с этим процессом и связанным с ним риском, тогда как я — нет.

  • Читать дальше
  • 1
  • ...
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • ...

Ебукер (ebooker) – онлайн-библиотека на русском языке. Книги доступны онлайн, без утомительной регистрации. Огромный выбор и удобный дизайн, позволяющий читать без проблем. Добавляйте сайт в закладки! Все произведения загружаются пользователями: если считаете, что ваши авторские права нарушены – используйте форму обратной связи.

Полезные ссылки

  • Моя полка

Контакты

  • chitat.ebooker@gmail.com

Подпишитесь на рассылку: