Сильное априори – это отношения на всю жизнь, а слабое – только первое впечатление.

В предыдущем разделе вы видели, как частотная статистика производит доверительные интервалы. Такая статистика говорит вам, что, если провести эксперимент множество раз (например, подбросить монетку сто раз), вычисленные доверительные интервалы будут содержать изучаемый параметр (например, 50 % вероятность выбросить решку) до указанного уровня доверия (например, 95 % раз). К большому разочарованию многих, доверительный интервал не сообщает, что есть 95 % вероятность получить истинное значение параметра в этом интервале. Напротив, байесовская статистика аналогичным образом производит байесовские доверительные интервалы, которые это сообщают. Они указывают текущий наилучший оценочный диапазон для вероятности параметра. Таким образом, байесовский подход снова оказывается более интуитивным.

На практике оба подхода дают очень похожие результаты и по мере поступления данных должны сходиться к одному и тому же выводу. Ведь они оба пытаются найти одну и ту же основную истину. Исторически точка зрения частотников была популярнее, во многом потому, что байесовский анализ часто бывает затруднительным из-за громадного объема вычислений. Хотя нынешние вычислительные машины легко с этим справляются.

Байесовцы уверены, что с сильным априори они начинают ближе к истине и быстрее достигают конечного результата с меньшим числом наблюдений. Поскольку наблюдения требуют денег и времени, это привлекательно. Но есть и обратная сторона: возможно, байесовские априори на самом деле делают обратное – заставляют начинать дальше от истины. Такое происходит, если это сильные убеждения на основе искажения подтверждения (см. главу 1) или другой когнитивной ошибки (например, неоправданно сильного априори). В таком случае байесовский подход будет искать истину дольше, так как точка зрения частотников (с нуля) ближе к истине с самого начала.

Можно сделать вывод, что есть два подхода к статистике и они оба верны, если все делать правильно. Некоторые люди являются убежденными идеологами, которые клянутся в верности одной философии или другой, тогда как прагматики (вроде нас) используют те методы, которые лучше всего подходят для ситуации. Помните, что нельзя допускать путаницы между условной вероятностью и ее обратным значением: P(A|B) не равно P(B|A). Теперь вы знаете, что эти вероятности связаны теоремой Байеса, которая учитывает соответствующие базовые проценты.

Правильно или нет?

Вы узнали, что не должны основывать свои решения на единичных случаях и что маленькие выборки не могут достоверно показать, что произойдет в большой группе населения. Может быть, вам стало интересно: сколько данных достаточно, чтобы быть уверенными в своих выводах? Установление размера выборки, общего числа собранных точек данных – это уравновешивающее действие. С одной стороны, чем больше информации вы соберете, тем точнее будут ваши подсчеты и тем увереннее вы будете в своих выводах. С другой стороны, на сбор большого количества информации уйдет больше времени и денег и, возможно, риску подвергнется больше участников. Итак, как установить правильный размер выборки?

Даже идеально спланированный эксперимент иногда будет давать случайный результат, который заставит сделать неправильные выводы.

Больший размер выборки придаст больше уверенности в том, что положительный результат возник не случайно, а также даст больше шансов получить этот положительный результат.

Рассмотрим типичную ситуацию с опросом общественной поддержки предстоящего референдума, например по легализации марихуаны. Предположим, что референдум в конечном итоге провалился, но социологи случайным образом выбрали в качестве респондентов людей, которые были благосклоннее к проекту, чем остальное население. Это приведет к ложноположительному результату – положительному результату, который на самом деле оказался ложным (как и ложный результат алкотестера). Или наоборот, референдум в конце концов оказался успешным, но социологи случайно выбрали людей, которые меньше его одобряли по сравнению со всем населением. Получился ложноотрицательный результат – отрицательный результат, который на самом деле был истинным. В качестве другого примера рассмотрим маммографию – медицинский тест для диагностики рака молочной железы. Кажется, что такой тест имеет два возможных результата: положительный и отрицательный. Но на самом деле у маммографии четыре возможных результата, которые отображены в следующей таблице. Два результата, о которых вы сразу подумали: истинно положительный или истинно отрицательный. Другие два результата выдаются при ошибке теста – ложноположительный и ложноотрицательный результат.

Эти ошибочные модели встречаются далеко за пределами статистики в любой системе, где принимаются решения. Отличный пример – ваш спам-фильтр в электронной почте. Недавно спам-фильтры удалили письмо с фотографиями нашей новорожденной племянницы (ложноположительный результат). А настоящий спам до сих пор иногда просачивается в основную почту (ложноотрицательный результат).

Возможные результаты теста

Поскольку каждый тип ошибок имеет свои последствия, системы нужно создавать с их учетом.

То есть решения придется принимать на компромиссе между различными типами ошибок, признавая, что некоторые из них неизбежны.

Например, правовая система США должна требовать доказательств по обвинительным приговорам, а не основываться на разумных сомнениях в виновности задержанного человека. Это осознанный компромисс в пользу ложноотрицательного (выпустить преступника на волю), а не ложноположительного результата (наказать невиновного человека).

В статистике ложноположительный результат известен как ошибка типа I, а ложноотрицательный результат называется ошибкой типа II. При разработке эксперимента ученые оценивают вероятность каждого типа ошибки, которую они готовы терпеть. Допустимый процент ложноположительных результатов обычно равен 5 % (этот показатель также обозначается греческой буквой ? – альфа, которая равняется 100 минус уровень доверия. Вот почему обычно уровень доверия составляет 95 %). Это значит, что в среднем, если ваша гипотеза неверна, один из 20 экспериментов (5 %) даст ложноположительный результат.