Вход/Регистрация
Сигнал и шум. Почему одни прогнозы сбываются, а другие - нет
вернуться

Сильвер Нейт

Шрифт:

Разумеется, рынки доступны далеко не в каждом случае. Часто в качестве утверждения по умолчанию приходится выбирать нечто иное. Порой в качестве байесовской априори может выступать обычный здравый смысл, не позволяющий сразу принимать на веру выводы статистической модели. (Эти модели – лишь аппроксимации, и часто довольно грубые, хотя порой и кажется, что они обещают математическую точность.) Информация становится знанием только в определенном контексте. Без него мы не можем отличить сигнал от шума, а поиск истины переполняется ложными результатами.

Теорема Байеса не допускает отсутствия априорных убеждений. Вы должны поработать над собой, чтобы умерить количество ваших предубеждений, но если вы говорите, что их нет, – значит, у вас их слишком много. А если вы способны сформулировать свои убеждения: «Вот откуда я к этому пришел» {1007} – значит, вы работаете добросовестно и признаёте, что пропускаете реальность сквозь свой субъективный фильтр.

Пробуйте и ошибайтесь

1007

Jay Rosen, «The View from Nowhere: Questions and Answers», Jay Rosen’s Press Think, November 10, 2010. http://pressthink.org/2010/11/the-view-from-nowhere-questions-and-answers/.

Возможно, следующий байесовский принцип применять проще всего: делайте много прогнозов. Вероятно, вы не захотите ставить на кон свой бизнес или жизнь, особенно поначалу [179] , но это единственный способ стать лучше.

Теорема Байеса утверждает, что нам следует каждый раз при появлении новой информации обновлять прогнозы. С менее буквальной версией этой идеи мы все знакомы: это обычный метод проб и ошибок. Такие компании, как Google, у которых действительно есть Большие данные, не уделят моделированию слишком много времени [180] . Ежегодно они проводят тысячи экспериментов и тестируют свои идеи на реальных потребителях.

179

Вы даже можете отточить свои навыки в таких областях, как различные виды спорта, в которых имеются большие массивы данных и большие возможности для тестирования различных техник. Даже при анализе игр Национальной ассоциации студенческого спорта можно найти немало интересного, особенно если относиться к своей работе серьезно. – Прим. авт.

180

Верным признаком того, что вы тратите слишком много времени в стране моделей, будет тот факт, что вы начинаете использовать слово «предсказание» для описания связи вашей модели с данными из прошлого. Как показано в главе 5, нет ничего сложного в наполнении модели оверфиттингом и при этом считать, что вы улавливаете сигнал, хотя на самом деле всего лишь описываете шум. Если вы будете придерживаться простого и разумного определения «предсказания» как высказывания, которое относится исключительно к будущим событиям, сможете снизить риск таких ошибок. – Прим. авт.

Теорема Байеса призывает нас быть дисциплинированными в том, как мы «взвешиваем» новую информацию. Если наши идеи чего-то стоят, мы должны быть готовы проверять их, выдвигая гипотезы, которые можно опровергнуть, и прогнозы, которые можно проверить временем. Как правило, мы не способны осознавать, как много шума в данных, и предвзято делаем ставку на новейшую информацию. Политические обозреватели часто забывают, что в опубликованных результатах опросов перед выборами всегда надо учитывать предел погрешности, а финансовые репортеры далеко не каждый раз могут донести до читателей, насколько неточными бывают порой данные экономической статистики. И в новостях достаточно часто встречаются так называемые выбросы [181] .

181

Выбросы – резко выделяющиеся значения экспериментальных величин, в экономике – выпадающие показатели.

Но мы можем размышлять и совершенно по-другому, когда слишком вкладываемся в проблему, как в личном, так и в профессиональном плане, и нам бывает тяжело изменить свое мнение, когда факты этого требуют. Если эксперт – один из тэтлоковских «ежей», то гордость может помешать ему изменить прогноз, даже когда данные расходятся с его картиной мира. Фанатиков, ожидающих, что любую идею можно уместить на бамперной наклейке, ждут все стадии разочарования, пока они не примут тот факт, что слишком упрощают реальность.

Чем чаще вы будете готовы проверять свои идеи на практике, тем скорее вы научитесь на своих ошибках и сможете избегать подобных проблем в будущем. Только герои кинофильмов могут долго смотреть в океан, ожидая озарения. В реальном мире идеи редко приходят, когда вы стоите на месте {1008} . «Большие» идеи тоже совсем необязательно появляются таким образом. Куда чаще мы идем по пути прогресса маленькими, незначительными шажками.

1008

Это всего-навсего личное размышление, а не эмпирическое наблюдение. Однако в данном случае я бы хотел, чтобы мои слова звучали буквально. Когда я, работая над этой книгой, сталкивался со сложной проблемой, не поддававшейся мгновенному решению, то предпочитал пройтись и подумать о каких-то случайных вещах, а не таращиться на экран компьютера или сидеть в кофейне. Одно из преимуществ жизни в Нью-Йорке состоит в том, что он обеспечивает восьми миллионам человеческих существ возможность вести себя спонтанно в режиме 24/7, взбадривая их фантазию или память.

Наше восприятие предсказуемости

Нам сложно предсказывать как раз потому, что это очень важно: именно здесь пересекаются объективная и субъективная реальности. Чтобы отличить сигнал от шума, необходимы как научное знание, так и знание себя самого, а также спокойствие, чтобы принять то, что мы не можем предсказать, смелость, чтобы предсказать то, что можем, и мудрость, чтобы понять разницу между ними {1009} .

Наше мнение о том, насколько предсказуем мир, не раз изменялось с годами. И оценить его можно по количеству упоминаний слов «предсказуемо» и «непредсказуемо» в научных журналах {1010} . В начале XX в. оба слова использовались почти так же часто, как и каждое в отдельности. Великая депрессия и Вторая мировая война отвели «непредсказуемости» господствующее положение. По мере того как мир исцелялся от последствий кризисов, слово «предсказуемость» снова стало популярным, и пик его использования пришелся на 1970-е гг. В последнее время частота упоминания слова «непредсказуемость» снова растет (рис. З .2).

1009

Взято из Reinhold Niebuhr, Serenity Prayer. http://www.cptryon.org/prayer/special/serenity.html

1010

Данные, показанные на рис. 3.2, основаны на результатах поиска, проведенного по каталогу печатных журналов JSTOR. Я нашел случаи, в которых слова «предсказуемое» или «непредсказуемое» появляются в журнальной статье хотя бы один раз (но не оба слова в одной статье), а затем разбил результаты по десятилетиям, в которые они публиковались. Значения процентов, отображенные на рис. 3.2, представляют соответствующую долю упоминаний слов «предсказуемый» и «непредсказуемый» по отношению к общему количеству.

Подобное восприятие предсказуемости больше подвержено влиянию научных тенденций {1011} и недолговечности нашей памяти (случалось ли недавно что-нибудь плохое?), чем прорывам в нашей способности делать прогнозы. Наше мнение о себе как об успешных предсказателях и реальность часто не соответствуют друг другу. И 1950-е гг., время, когда мир все еще отходил от потрясений, связанных с войной, и считался относительно непредсказуемым, были более продуктивны и в сфере экономики {1012} , и в науке {1013} , чем 1970-е, когда мы думали, что можем предсказать все, но на самом деле не могли.

1011

Michel Foucault, The Order of Things (New York: Vintage, 1994).

1012

Глобальный рост среднедушевого ВВП составлял в среднем 3,4 % в год в 1950-е гг., но 2,6 % в 1970-е гг. См.: J. Bradford DeLong, Estimating World GDP, One Million B. C. – Present; (Berkeley: University of California, 1988). http://econ161.berkeley.edu/TCEH/1998_Draft/World_GDP/Estimating_World_GDP.html.

1013

Количество патентных заявок, поданных в США, выросло на 18 % за десять лет в 1950-е гг., но только на 1 % в 1970-х. См.: «U.S. Patent Activity Calendar Years 1790 to the Present», U. S. Patent and Trade Office. http://www.uspto.gov/web/ofices/ac/ido/oeip/taf/h_counts.htm.

  • Читать дальше
  • 1
  • ...
  • 158
  • 159
  • 160
  • 161
  • 162
  • 163
  • 164
  • 165

Ебукер (ebooker) – онлайн-библиотека на русском языке. Книги доступны онлайн, без утомительной регистрации. Огромный выбор и удобный дизайн, позволяющий читать без проблем. Добавляйте сайт в закладки! Все произведения загружаются пользователями: если считаете, что ваши авторские права нарушены – используйте форму обратной связи.

Полезные ссылки

  • Моя полка

Контакты

  • chitat.ebooker@gmail.com

Подпишитесь на рассылку: