Плохая наука: почему самые громкие психологические исследования оказались неверными.

Существуют «сильные позы», которые делают увереннее в себе и снижают уровень гормонов стресса. Когда люди держат в руках чашку с теплым напитком, они становятся доброжелательнее к окружающим. Сила воли — это ресурс, который мы тратим, когда удерживаемся от соблазнов. Способность откладывать вознаграждение определяет успех ребенка в будущем.

Эти утверждения во многом похожи друг на друга: за ними стоят широко известные психологические исследования, научно-популярные бестселлеры, колонки в популярных журналах и выступления на TED-конференциях.

У них есть и еще одно общее качество: все они оказались неверными.

Когда ученые попытались воспроизвести классические и недавние психологические эксперименты, результаты оказались на удивление постоянными: примерно в половине случаев — успех, в другой половине — неудача.

Кризис окончательно стал очевидным в 2015 году, когда ученые под руководством Брайана Нозека проверили 100 психологических исследований. Исходных результатов они смогли добиться лишь в 36 случаях.

Воспроизводимость — одно из ключевых требований к научному знанию. Чем лучше результат воспроизводится, тем он надежнее — только так можно отделить реальные закономерности от простых совпадений.

Но оказалось, что это требование выполняется далеко не всегда.

Кризис начался с медицины, но больше всего затронул психологию. Летом 2018 года ученые попытались воспроизвести подборку психологических исследований, опубликованных в Science и Nature — самых престижных общемировых научных журналах. Из 21 эксперимента подтвердились только 13 — и даже в этих случаях оригинальные результаты оказались преувеличенными примерно на 50 %.

Часто проверку на воспроизводимость проваливают те исследования, которые широко тиражировались в СМИ и успели повлиять на общественное сознание. Например, работы о том, что поисковые системы ухудшают память, а чтение художественных произведений развивает способность к сопереживанию. Если повторные эксперименты терпят неудачу, это еще не означает, что исходные гипотезы ничего не стоят. Но чтобы их доказать, теперь нужны более качественные исследования.

В 2011 году известный американский психолог Дэрил Бем опубликовал статью, которая доказывала возможность ясновидения. Этот вывод не был порождением его бурной фантазии, а базировался на десятилетних исследованиях, в которых участвовали сотни человек. Многие заподозрили, что Бем решил устроить что-то вроде аферы Сокала и разоблачить психологию поддельной статьей с заведомо абсурдными выводами. Но по всем методологическим стандартам статья была очень убедительной.

В одном из экспериментов Бема перед участниками ставили две ширмы — им нужно было угадать, за какой спрятано изображение. Картинка генерировалась случайным образом сразу после осуществления выбора. Если бы участники хорошо справились с заданием, это указывало бы, что они каким-то образом могут предчувствовать будущее. В эксперименте использовались изображения двух видов: нейтральные и порнографические.

Участники угадывали порнографические изображения в 53 % случаев — несколько чаще, чем следовало бы, если бы их выбор объяснялся чистой случайностью. Учитывая большое количество опытов, Бем мог заявить, что предвидение существует.

Позднее эксперты обнаружили, что при анализе результатов он использовал не совсем корректные приемы. Как правило, результат исследования признают надежным, если вероятность того, что он был получен случайно, не превышает 5 %. Но существует много способов снизить эту величину до нужного уровня: изменить исходные параметры анализа, добавить в выборку или изъять из нее нужное количество примеров, использовать более удачные гипотезы после сбора данных.Проблема в том, что такие же приемы использовал не только Бем, но и многие другие ученые. Согласно опросу 2011 года, в этом призналась почти половина психологов.

Когда вышла статья о ясновидении, специалисты в области общественных наук Джозеф Симмонс, Лиф Нельсон и Ури Симонсон поняли, что наука движется к собственному краху. Они построили несколько компьютерных моделей и выяснили, что с помощью вполне стандартных статистических приемов можно повысить уровень ложно-положительных результатов в несколько раз. Это значит, что методы, которые формально являются научными, могут легко привести к совершенно абсурдным выводам.

Вскоре стало понятно, что проблемы воспроизводимости затрагивают далеко не только психологию. В исследованиях рака научные данные подтверждаются в 10–25 % случаев. В экономике не смогли реплицировать 7 из 18 лабораторных экспериментов. В исследованиях искусственного интеллекта тоже есть признаки кризиса.Но терять веру в науку, кажется, все-таки не стоит. Ученые уже придумали несколько способов, которые сильно повысили надежность и качество новых исследований.

Несколько лет назад почти никто не публиковал результаты повторных экспериментов, даже если они проводились. Это было не принято. Когда кризис воспроизводимости вышел на поверхность, многое изменилось. Повторные исследования постепенно стали обычным делом.

Ученые в целом неплохо умеют отличать надежные исследования от ненадежных — это хорошие новости. Сейчас специалисты из Центра открытой науки совместно с агентством DARPA пытаются создать алгоритм, который будет выполнять ту же задачу без участия человека.Каждый год выходит слишком много статей, чтобы можно было вручную перепроверить хотя бы малую часть из них. Если за дело возьмется искусственный интеллект, всё будет намного проще.

Уже в первых тестах ИИ успешно справился с предсказаниями в 80 % случаев.

«Позы силы» и «позы слабости»

Участники эксперимента на две минуты принимали одну из двух поз: откидывались в кресле и закидывали ноги на стол («поза силы») или скрещивали руки на груди («поза слабости»). В результате участники из первой группы чувствовали себя более уверенно и чаще соглашались рискнуть в азартной игре. У тех, кто сидел в сильной позе, повысился уровень тестостерона, а у тех, кто в слабой, — кортизола. В повторных экспериментах удалось воспроизвести только один эффект: «позы силы» помогли участникам чувствовать себя увереннее, но не изменили их поведение или гормональные показатели.

Сила воли истощается, когда мы противостоим соблазнам

Перед участниками эксперимента ставили две тарелки — с печеньем и редисом. В первой группе участникам разрешили есть печенье, а во второй — только редис. Затем каждому участнику предложили решить невозможную головоломку. Участники, которым в первой части эксперимента ели только редис, сдавались значительно раньше других. В повторных экспериментах результаты не подтвердились.

В некоторых случаях способность к самоконтролю не истощалась, а даже усиливалась со временем. Многие психологи теперь считают понятие «сила воли» слишком упрощенным.

*****
История про кризис воспроизводимости — это не история про грядущий апокалипсис и нашествие варваров. Если бы кризис не произошел, всё было бы гораздо хуже: мы до сих пор ссылались бы на ошибочные исследования в полной уверенности, что знаем правду. Возможно, время бойких заголовков в стиле «британские ученые доказали» подходит к концу. Но слухи о том, что наука умерла, следует считать несколько преувеличенными.

Автор Олег Матфатов