Статистика как дисциплина основана на измерениях и подсчетах. Майкл Бластлэнд, один из создателей программы «Более-менее», говорит так: представьте себе двух овец в поле. Сколько в поле овец? Ясное дело, две. Только вот одна овца – не овца, а ягненок. А другая на позднем сроке беременности – точнее, у нее сейчас схватки, и она вот-вот родит. Сколько, значит, овец? Одна? Две? Две с половиной? Вот как, оказывается, сложно считать до трех. Говорим ли мы о том, сколько в больнице медсестер (как насчет тех, кто работает неполный день – их считать за одну или за двух?) или о богатстве сверхбогатых людей (считаем ли мы то, что они указали в налоговой декларации, или пытаемся прибавить к этому капитал, который они прячут?), важно понимать, что именно и как мы измеряем и считаем.

Удивительно, как редко это происходит. После многолетних попыток вывести людей из статистических лабиринтов я понял, что большинство проблем, с которыми я столкнулся, объяснялись тем, что люди с самого начала повернули не в ту сторону. Они углублялись в дебри статистической математики, спрашивая об ошибках выборки, пределе погрешности, спорили, растет ли число или падает, принимали на веру, сомневались, разбирали на части и анализировали – и ни на минуту не задавались самым очевидным вопросом: а что именно мы измеряем и подсчитываем? Какое определение для этого используем?

Несмотря на то что в эту ловушку попадают очень многие, названия ей так и не придумали. Я предлагаю назвать ее «преждевременным подсчетом».

Мы с женой часто об этом говорим. У нас на холодильнике стоит радио, и за завтраком мы то и дело слышим какие-то статистические утверждения, от громких политических заявлений до неожиданных результатов исследований. К примеру: «Согласно новейшему исследованию, дети, которые играют в компьютерные игры, где много насилия, с большей вероятностью будут проявлять насилие в реальной жизни». Хоть моей жене и известно, что я не все на свете знаю, она все же не может до конца избавиться от представления, что у меня в голове гигантский справочник со всей когда-либо собранной человечеством статистикой. Она спрашивает меня: «Это правда так?» Изредка случается, что я недавно занимался этой темой и знаю ответ, но гораздо чаще бывает, что я могу ответить только: «Зависит от того, что под этим подразумевается…»

Не подумайте, что я исповедую какой-то радикальный философский скептицизм или просто хочу позлить жену. Я просто отмечаю, что не вполне понимаю, что именно стоит за этим утверждением, так что не могу (пока что) знать, правда это или нет. К примеру: что значит «игры, где много насилия»? Как насчет Пакмана? Пакман проявляет неслыханную жестокость, а именно живьем глотает других существ. Или возьмем «Space Invaders». Там можно только стрелять или стараться, чтобы тебя не подстрелили. Но, возможно, исследователи имели в виду что-то другое. Пока я не узнаю, что же они имели в виду, я мало что могу сказать.

Или, например, что значит «играют»? Может быть, детям [14] раздали анкеты, чтобы узнать, кто из них часами играет в игры, где много насилия. А может быть, они набрали волонтеров и дали им 20 минут поиграть в компьютерную игру в лаборатории, а потом каким-то способом измерили, стали ли они чаще «проявлять насилие в реальности» (опять же, что под этим имеется в виду?).

– Многие из этих исследований не измеряют насилие, – говорит Ребекка Голдин, специалистка по математике и директор STATS, проекта по статистической грамотности6. – Они измеряют что-нибудь другое, к примеру, агрессивное поведение». – А агрессивное поведение, в свою очередь, сложно измерить, так как сложно определить, что это такое. Авторы одного известного исследования компьютерных игр для того, чтобы измерить агрессивное поведение, предлагали испытуемому добавить в чужой напиток острого соуса (честное слово, я не выдумываю). Эта «парадигма острого соуса» была названа «непосредственной и недвусмысленной» оценкой агрессии. Социальная психология – не моя специализация, так что, может быть, в этом и есть какой-то смысл. Может быть. Но очевидно, что, как и в случае с младенцами, овцами и медсестрами, такие вроде бы очевидные слова, как «насилие» и «игра», предоставляют широкий простор для интерпретации.

Так же скрупулезно, как мы анализируем утверждения о фактах, нужно анализировать и политические программы. Все мы знаем, что политики намеренно говорят обтекаемо. Часто они восхваляют «справедливость», «прогресс» и «возможности», или – это меня совсем уж выводит из себя – говорят, что «предлагают эту программу, так как это единственное правильное решение». Но даже программы, которые, казалось бы, вполне конкретны, могут оказаться пустым звуком, если мы не поймем, что стоит за этим словами. Хотите выделять школам больше денег? Замечательно! Но что именно это значит: выделять больше денег на каждого ученика, или увеличивать сумму с учетом инфляции, или еще что-то?

К примеру: в 2017 в Соединенном Королевстве группа «Уходим так уходим», лоббирующая Брексит, опубликовала программный документ, призывающий к «пятилетней заморозке неквалифицированной иммиграции»8. Хорошая ли это мысль? Сложно ответить, пока мы не поймем, что именно имеется в виду. Вы, наверное, уже догадались, что следует спросить: «Что вы подразумеваете под «неквалифицированной»?

При дальнейшем рассмотрении обнаруживается, что вы неквалифицированы, если у вас нет приглашения на работу с зарплатой как минимум 35 000 фунтов, то есть за бортом остаются большинство медсестер, учителей начальной школы, техников, помощников адвоката и аптекарей. Задумка может быть хорошей или не очень, но большинство людей удивятся, узнав, что эта приостановка «неквалифицированной иммиграции» предполагает исключение учителей и медсестер реанимации9. И это была не просто какая-то бумажка: в феврале 2020 правительство Соединенного королевства объявило о новых иммиграционных ограничениях. Необходимая зарплата упала до 25 600 фунтов, но терминология «квалифицированных» и «неквалифицированных» осталась прежней.

На самом деле, если вы умеете обращаться с числами, вы с большей долей вероятности приметесь за получение продольных и поперечных срезов данных, корреляцию и регрессию, нормализацию и перерасчеты, без труда орудуя числами в электронной таблице или пакете статистических данных, – не осознавая, что вы толком и не понимаете, что стоит за всеми этими абстракциями. Есть теория, что именно этот соблазн вызвал последний финансовый кризис. Математические модели риска стали такими изощренными, что все и думать забыли, как именно эти риски измеряются и стоит ли полагаться на них, когда на кону вся банковская система мира.