Почему нельзя доверять результатам психологических исследований

Недавно многие издания опубликовали результаты исследования, согласно которому мужской и женский мозг неотличимы, и все спекуляции по этому поводу были объявлены несостоятельными. Теперь даже как-то стыдно дарить книгу «Мужчины с Марса, женщины с Венеры», а то скажут, что вы не интересуетесь последними достижениями науки.

На самом деле не стоит выбрасывать подарок в мусорный бак. Книга хорошая. А вот безапелляционность учёных и результатов их работ не так однозначна, какой могла бы показаться. Не прошло и 24 часов с момента публикации исследования об идентичности мозга мужчины и женщины, как научные сотрудники смогли опровергнуть его и рассказали: женский мозг стареет медленнее мужского.

Затем мы узнали о результатах ещё одного нового психологического эксперимента. На этот раз учёные решили исследовать сферу медицины. Они провели опрос тех пациентов, которые чаще всего обращаются к врачам. Оказалось, что постоянные посещения клиники по любому поводу взращивают в человеке уверенность в собственных знаниях. Он становится агрессивным и давит на лечащего врача, требуя выписать более сильные и действенные препараты, например антибиотики. Исследование говорит: девять из десяти врачей признаются, что поддаются влиянию таких напористых пациентов, и эту проблему нужно изучать дальше.

Примерно в тот же момент, как был опубликован вышеописанный доклад, в СМИ появились результаты другой работы. Они показали, что более половины британских женщин не могут обсуждать вопросы секса и сексуального здоровья со своим врачом, потому что стесняются делать это. Молодые девушки с неохотой посещают врача, с трудом могут описать симптомы или задать вопросы, касающиеся половых органов. И 25% женщин признались, что им очень сложно просто подобрать нужные слова для того, чтобы назвать части своего тела доктору.

Какая же часть этих женщин входит в список напористых пациентов и как коррелируют результаты первого исследования со вторым?

Все эти парадоксы и несовпадения были бы забавными, если бы не тот факт, что нас буквально окружают заголовки «Учёные доказали, что…» и «Результаты исследования говорят о…». СМИ любят психологов и их заявления. Например, The Times регулярно публикует подобные статьи, однажды представив сразу пять материалов на данную тему за один день. Издание рассказало о том, как внешность лучших друзей влияет на нашу личную жизнь; о развитии клинической депрессии у тех, кто занимается скучной работой; как дети пытаются самостоятельно лечить депрессию с помощью советов в интернете; о том, что на рабочем месте люди чувствуют себя более одинокими, нежели в отпуске; и о том, как родители способны пойти на обман ради того, чтобы их чадо училось в хорошей школе. И уже на следующей неделе издание The Sunday Times выпустило огромный материал, рассказывающий о нашей психологической жизни и изменениях в ней.

Эта новая категория новостей не так уж плоха и в последнее время становится одной из самых востребованных и актуальных. Но нам нужно призвать на помощь всё своё здравомыслие, чтобы правильно интерпретировать результаты всех этих исследований. Дело в том, что психологические эксперименты отличаются не только сферой интереса, но и качеством выполненной работы. Некоторые из них проводятся профессиональными психологами, некоторые — социологическими организациями, а некоторые — благотворительными. Также в исследованиях часто принимают участие государственные или коммерческие организации. Поэтому подобные изыскания нельзя считать объективными, их методология и охват как минимум должны вызывать у вас подозрение.

Сколько людей приняли участие в исследовании? Насколько комплексным был статистический анализ? Хорошо ли продумана общая концепция?

От того, как вы ответите на данные вопросы, зависит состоятельность исследования и его результатов.

Но и это ещё не всё. Достоверность или ненадёжность психологических исследований были подвергнуты ещё более мощной атаке, чем простая проверка на объективность и правильную методологию. Впервые сомнения были высказаны в 2013 году, когда Джон Айонидис (John Ionnidis), эпистемолог из Стэндфордской медицинской школы, опубликовал свою знаменитую работу. Она была посвящена неврологии, которую принято считать жёсткой формой психологии. Именно в этой сфере науки широко используется функциональная МРТ как способ фиксации работы мозга. Несмотря на мощный медицинский инструментарий, профессор считает результаты неврологических исследований ненадёжными и описывает явление вуду-корреляции. Под этим термином понимается неправильная интерпретация связи между активностью мозга и поведением человека.

Вуду-корреляция может возникать из-за некачественного использования функциональной МРТ или плохой работы с полученными данными. Проверка 53 исследований на предмет наличия этой вуду-корреляции показала: половина из них ненадёжны, а выводы содержат серьёзные изъяны. Другой анализ продемонстрировал: методологические ошибки содержались в 42% работ из 134 опубликованных.

Существует ещё одна проблема, о которой мало кто вспоминает. Большинство психологических исследований практически нельзя повторно воспроизвести так, чтобы получить тот же самый результат. Для того чтобы доказать существование такого явления, был проведён масштабный эксперимент, в котором принимали участие 270 научных сотрудников со всего мира. В рамках проекта учёные попытались повторить более сотни психологических экспериментов, результаты которых ранее публиковались в трёх крупнейших научных журналах:

• Psychological Science;
• Journal of Personality and Social Psychology;
• Journal of Experimental Psychology: Learning, Memory and Cognition.

Иными словами, целью данной работы было проверить те исследования, которые в своё время удостоились публикации в самых известных и уважаемых изданиях.

Результаты оказались неутешительными. Во-первых, выяснилось, что предсказываемый эффект на практике в среднем был вдвое меньшим. Например, если новая методика обучения обещала улучшить образовательный процесс на 12%, на практике получалось только 6% прогресса. Во-вторых, первоначальные исследования оценивали 97% полученных данных как статистически значимые. А вот повторно проведённый эксперимент показал: использовать для работы можно только 36% полученной информации. Кроме того, многие психологические исследования воспроизвести вообще не получилось, любая попытка оканчивалась провалом.

О чём это говорит? Мы обладаем огромным аппетитом и хотим знать больше о своей эмоциональной, социальной и интеллектуальной жизни. Мы заинтересованы в себе так, как ни в ком и ни в чём другом. Но одной фразы «Учёные доказали, что мозг женщины идентичен мозгу мужчины» недостаточно для того, чтобы вы расслабились и приняли этот факт на веру.

Включайте внутреннего критика! Единственное, в чём мы можем быть уверены: мозг женщины и мозг мужчины должны быть одинаково скептичны.