Пример с сосудом хорош тем, что те же самые математические выкладки, описывающие выемку голышей из сосуда, могут быть применены и в случае описания любых серий испытаний, в которых каждое испытание имеет два возможных исхода, при условии, если эти исходы случайны, а испытания не зависят друг от друга. В наше время подобную последовательность испытаний называют испытаниями по схеме Бернулли, а серию испытаний — процессом Бернулли. Когда случайное испытание имеет два возможных исхода, один часто в произвольной форме называют «удачным», а другой — «неудачным». Названия эти весьма условны и порой не имеют ничего общего с обыденными значениями слов — ну, скажем, если вам не терпится читать эту книгу дальше, она, мол, удачная, а если вы используете ее, чтобы не дать замерзнуть себе и своей любимой после того, как все поленья в камине выгорели, то неудачная. Подбрасывание монеты, решение голосовать за кандидата А или кандидата В, рождение мальчика или девочки, приобретение или отказ от приобретения той или иной вещи, излечение или невозможность излечения, даже жизнь или смерть — все это примеры испытаний по схеме Бернулли. Действия, имеющие своим результатом множественные исходы, также могут быть смоделированы по схеме Бернулли, если вопрос формулируется так, чтобы ответом на него было «да» или «нет», например: «Кость выпала стороной 4?» или «Остался ли вообще лед на Северном полюсе?» Таким образом, хотя Бернулли писал о голышах и сосудах, все его примеры в равной степени применимы к этим и многим другим аналогичным ситуациям.

И вот, разобравшись, возвращаемся к сосуду, 60% голышей в котором белые. Если вынуть из сосуда 100 голышей (положив им замену), можно обнаружить, что именно 60 из вынутых белые, но можно вынуть и 50, 59 белых голышей. Каковы шансы того, что из вынутых вами голышей белых будет от 58% до 62%? Каковы шансы того, что вы вынете белых голышей от 59% до 61%? Насколько вы можете быть уверены, если вместо 100 голышей вынете 1 тыс. или даже 1 миллион? Вы никогда не можете быть уверены на все 100%, но возможно ли вынуть достаточно голышей для того, чтобы шансы, скажем, того, что вы вынете белых голышей от 59,9% до 60,1%, стали равны 99,9999%? «Золотая теорема» Бернулли и применима как раз в таких случаях.

Чтобы воспользоваться ею, придется совершить два выбора. Во-первых, вы должны определить, какая погрешность является для вас приемлемой. Насколько должен быть близок к 60% ряд ваших испытаний? Вам нужно выбрать интервал, например, плюс или минус 1%, 2% или 0,00001%. Во-вторых, вы должны решить, какая неопределенность является для вас приемлемой. Вы не можете быть уверены на 100% в том, что испытание выдаст результаты, к которым вы стремитесь, но вы можете позаботиться о том, чтобы получать удовлетворительный результат в 99 случаях из 100 или 999 случаях из 1 тыс.

«Золотая теорема» сообщает о том, что всегда возможно вынуть достаточно голышей для того, чтобы быть почти уверенным в том, какой процент белых голышей из вынутых будет ближе всего к 60%, и это несмотря на то, насколько требовательны вы в своем определении этого «почти уверен» и «ближе всего». С помощью теоремы также выводится формула числа испытаний, которые «достаточны» в рамках приведенного выше определения.

Первая часть закона была достижением на понятийном уровне, именно она и осталась в современной версии теоремы. Что же до второй части — формулы Бернулли — то важно понять: хотя «золотая теорема» определяет число испытаний, достаточных для достижения уверенности и точности, она не говорит, что невозможно достичь этого при меньшем числе испытаний. Это не влияет на первую часть теоремы, для которой достаточно знать лишь то, что число определенных испытаний конечно. Однако Бернулли также намеревался использовать число, выведенное с помощью формулы, в практических целях. Возьмем числовой пример, который Бернулли придумал сам, хотя контекст я изменил. Предположим, 60% избирателей в Базеле поддерживают мэра. Скольких человек необходимо опросить, чтобы шансы обнаружить, что мэра поддерживают от 58% до 62%, равнялись 99,9%, то есть, чтобы получить результаты с точностью плюс-минус 2%? (Предположим, оставаясь в согласии с Бернулли, что опрошенные люди выбраны наугад, однако с заменой. Другими словами, возможно, что одного и того же человека вы опросите более одного раза.) Ответ — 25 550, во времена Бернулли почти все население Базеля. Тот факт, что число это невозможно, от Бернулли не ускользнул. Он также знал, что опытные игроки интуитивно угадывают свои шансы на удачу в новой игре, основываясь на выборке, гораздо меньшей, чем тысячи испытаний.

Одна из причин того, почему численная оценка Бернулли была так далека от оптимальной, заключается в следующем: его доказательство было основано на множественных аппроксимациях. Другой причиной было то, что в качестве стандарта достоверности он выбрал 99,9% — то есть, он предполагал, что получит неверный ответ (ответ, который отличается от верного более чем на 2%) менее чем в 1 случае из 1000. А это чересчур высокий стандарт. Бернулли назвал его моральной достоверностью, имея в виду степень достоверности, которой, по его мнению, должен обладать человек здравомыслящий, чтобы принять рациональное решение. В наше время мы отказались от понятия моральной достоверности в пользу того, о чем поговорим в последней главе — о статистической значимости — подразумевая, что ваш ответ будет неверным менее чем в 1 случае из 20. Возможно, это скорее к вопросу о том, насколько сильно поменялся мир с тех пор.

Пользуясь современными математическими методами, статистики продемонстрировали, что в опросе, подобном описанному мною, можно получить статистически значимые результаты с точностью плюс-минус 5%, опросив при этом всего 370 человек. Если же вы опрашиваете 1000, вы выходите на 90% шанс получить верный результат плюс-минус 2% (60% голосование за мэра Базеля). Однако, несмотря на некоторые свои недостатки, «золотая теорема» Бернулли явилась своеобразной точкой отсчета, потому что продемонстрировала, — по крайней мере, в принципе — что достаточно большая выборка почти наверняка отразит неявные настроения населения.

В реальном мире нам нечасто доводится наблюдать чьи-либо действия в количестве тысяч испытаний. Таким образом, если Бернулли требовался чрезмерно высокий стандарт достоверности, в реальных жизненных ситуациях мы часто совершаем ошибку прямо противоположную: предполагаем, что выборка или серия испытаний является репрезентативной, когда на самом деле она слишком малочисленна, чтобы быть надежной. Например, если во времена Бернулли вы опросили бы 5 жителей Базеля, подсчеты по примеру тех, о которых шла речь в главе 4, продемонстрировали бы: шансы того, что вы получите результат 60% (3 человека) поддержки мэра, равны всего 1 из 3.

Всего 1 из 3? Разве истинное процентное количество сторонников мэра не должно быть наиболее вероятным исходом в случае выборочного опроса голосующих? На самом деле 1 из 3 и есть самый вероятный исход: шансы найти 0, 1, 2, 4 или 5 сторонников ниже, чем шансы найти 3. Тем не менее 3 сторонника едва ли найдутся: существует так много нерепрезентативных возможностей, что их суммированные шансы становятся в два раза больше шансов того, что ваш опрос точно отражает настроение населения. Таким образом, при опросе 5 голосующих в 2 случаях из 3 вы получите «неверное» процентное количество. В действительности, примерно в 1 случае из 10 вы обнаружите, что все голосующие, которых вы опросили, соглашаются либо с тем, что мэр им симпатичен, либо с тем, что он им не симпатичен. Так что если вы отнеслись к выборке из 5 человек серьезно, вы наверняка либо сильно переоценили, либо сильно недооценили истинную популярность мэра у населения.