Наконец, я должен упомянуть, возможно, о наиболее постыдном факте: когда мы позволяем исследователям не публиковать отрицательные данные, мы предаем пациентов, которые участвовали в экспериментах. Эти люди пожертвовали своим здоровьем, а иногда даже жизнями, безотчетно, неосознанно веря, что они совершают благое дело. Они верили, что благодаря их согласию участвовать в эксперименте медики смогут больше узнать о свойствах нового лекарства и это принесет пользу другим пациентам, которые могут попасть в такое же отчаянное положение, что и они, в будущем. На самом деле эту веру нельзя назвать неосознанной: часто об этом прямо говорим им именно мы, исследователи. Мы лжем им, потому что данные могут быть скрыты, и мы знаем об этом.

Так чья же это вина?Почему исчезают плохие результаты исследований?

Немного позже мы рассмотрим более очевидные случаи сокрытия фармацевтическими компаниями важных данных, которые иногда происходят при содействии госорганов. В изложенных ниже историях можно будет даже установить личности людей, участвующих в процессе. Когда мы дойдем до них, я надеюсь, вы рассердитесь еще больше от того, что прочитаете. Но сначала имеет смысл сделать короткую передышку и признать, что пристрастный подход к публикации статей имеет место и за пределами разработки коммерческих лекарств, в том числе в совершенно неродственной ей отрасли научных исследований, где людей волнует лишь собственная репутация и преследуются только личные интересы.

По большому счету во многих отношениях пристрастный подход к публикации данных — явление, объяснимое человеческой природой. Если вы провели исследование и не получили блестящих положительных результатов, вы можете сделать неверный вывод, что ваш эксперимент не заинтересует других исследователей. Имеет также значение и наличие стимула к публикации: вес ученого в научных кругах часто измеряется, хоть это и абсолютно неправильно, при помощи сухих цифр, таких как количество ссылок на статьи и число «влиятельных» исследований, упоминаемых в глянцевых журналах, которые читают широкие слои населения. Если отрицательные результаты труднее опубликовать в крупных журналах и на них реже будут ссылаться другие ученые, тогда автор исследования в меньшей степени мотивирован распространять информацию о неудавшейся работе. А вот при получении положительного результата у вас возникает чувство, что вы открыли что-то новое. Друзья и коллеги в восторге, так как ваши достижения неоспоримы.

Один из случаев, который хорошо иллюстрирует эту проблему, имел место в 2010 году. Известный американский исследователь-психолог Дэрил Бем опубликовал в журнале с хорошей репутацией авторитетную научную работу об исследовании возможности человека предвидеть будущее, сообщив о доказанных фактах предвидения событий его испытуемыми[1].Исследование было грамотно спланировано и проведено, а результаты были статистически значимыми, однако для большинства людей они выглядели неубедительно по тем же самым причинам, что и для вас. Если бы люди действительно могли предвидеть будущее, мы бы, вероятно, уже давно знали об этом. Громкие заявления требуют весомых подтверждающих фактов, а не единичных результатов.

В действительности же исследование было повторено, но с другими результатами, отличными от тех, что получил Бем. По крайней мере две группы ученых повторили несколько экспериментов Бема, используя те же самые методы, и в обоих случаях фактов предсказания будущего подопытными зафиксировано не было. Одна из групп предоставила результаты в «Журнал исследования личности и социальной психологии», в то самое издание, которое опубликовало работу Бема в 2010 году, но на этот раз журнал сходу отверг статью исследователей.

К авторам даже вышел сам редактор и заявил, что они никогда не публикуют исследования, которые дублируют другие работы. Тут мы наблюдаем ту же самую проблему, что и в медицине: положительные результаты публикуются чаще, чем отрицательные. То и дело положительный результат какого-нибудь глупого эксперимента тут же публикуется в статье, где доказывается, например, что люди могут предвидеть будущее. Кто знает, сколько психологов на протяжении многих лет пыталось найти доказательства существования экстрасенсорных способностей, проводя долгие, сложные эксперименты на десятках, может быть, даже сотнях испытуемых, и не находило подтверждения своим догадкам. Любой ученый, пытающийся опубликовать результаты исследования, основной вопрос которого «А что если?», должен будет постараться, чтобы в лучшем случае его неподняли на смех прямо в редакции журнала. Даже несмотря на наличие ясной цели в исследовании Бема, которое широко освещалось в серьезных газетах по всей Европе и США, научные журналы, подтвердившие интерес к вопросу предвидения будущего, просто отказались публиковать статью о работе с отрицательными результатами. Однако воспроизведение этих результатов крайне важно, как сказал сам Бем в своей работе, поэтому отслеживание неудач при попытках получить такой же результат также имеет значение.

Люди, работающие в научных лабораториях, скажут вам, что порой эксперименты много раз заканчиваются неудачей и только после ряда попыток вдруг появляется результат, который исследователь и хотел получить. Что это означает? Иногда неудачи вызваны юридическими или техническими проблемами, но иногда они формируют ряд важных статистических данных, которые даже могут ставить под сомнение правильность основных результатов исследования. Помните, что результаты многих исследований не всегда свидетельствуют строго в пользу того или иного предположения. Большинство из них представляют собой хрупкие статистические корреляции. В рамках существующей системы большинство вспомогательной статистической информации о количестве неудач просто заметается под ковер, что очень отражается на стоимости исследования, во время которого пытаются воспроизвести результаты первого эксперимента. Зависимость может быть неявной и не сразу проявиться. Например, исследователи, которым не удалось воспроизвести результаты первоначального опыта, могут и не знать, с чем связана такая неудача. Возможно, при первом опыте им просто повезло, а может быть, они допустили методическую ошибку.

В действительности на поиск доказательств ошибочности результатов тратится гораздо больше времени, средств и усилий, чем на их воспроизведение. Ведь исследователю нужно провести эксперимент много раз, чтобы доказать отсутствие результатов: так работает статистика обнаружения слабых эффектов. И вам нужно быть абсолютно уверенным в том, что вы исключили все технические неполадки, чтобы не попасть впросак, если данные окажутся воспроизведены неправильно. Эти препятствия при поиске опровергающей информации частично объясняют, почему проще уклониться от публикации данных, которые в конечном счете окажутся неправильными.31