Почему нельзя доверять результатам психологических исследований

Фраза «Учёные доказали, что...» автоматически ассоциируется у нас с информацией, которой можно доверять. Мы прочитываем статью, верим, берём новые знания на вооружение. Но нам стоит быть осторожнее и каждый раз включать внутреннего критика, ведь далеко не все психологические исследования заслуживают доверия.

Недавно многие издания опубликовали результаты исследования, согласно которому мужской и женский мозг неотличимы, и все спекуляции по этому поводу были объявлены несостоятельными. Теперь даже как-то стыдно дарить книгу «Мужчины с Марса, женщины с Венеры», а то скажут, что вы не интересуетесь последними достижениями науки.

👌 В телеграм-канале «Лайфхакер» лучшие статьи о том, как сделать жизнь проще.

На самом деле не стоит выбрасывать подарок в мусорный бак. Книга хорошая. А вот безапелляционность учёных и результатов их работ не так однозначна, какой могла бы показаться. Не прошло и 24 часов с момента публикации исследования об идентичности мозга мужчины и женщины, как научные сотрудники смогли опровергнуть его и рассказали: женский мозг стареет медленнее мужского.

Затем мы узнали о результатах ещё одного нового психологического эксперимента. На этот раз учёные решили исследовать сферу медицины. Они провели опрос тех пациентов, которые чаще всего обращаются к врачам. Оказалось, что постоянные посещения клиники по любому поводу взращивают в человеке уверенность в собственных знаниях. Он становится агрессивным и давит на лечащего врача, требуя выписать более сильные и действенные препараты, например антибиотики. Исследование говорит: девять из десяти врачей признаются, что поддаются влиянию таких напористых пациентов, и эту проблему нужно изучать дальше.

Примерно в тот же момент, как был опубликован вышеописанный доклад, в СМИ появились результаты другой работы. Они показали, что более половины британских женщин не могут обсуждать вопросы секса и сексуального здоровья со своим врачом, потому что стесняются делать это. Молодые девушки с неохотой посещают врача, с трудом могут описать симптомы или задать вопросы, касающиеся половых органов. И 25% женщин признались, что им очень сложно просто подобрать нужные слова для того, чтобы назвать части своего тела доктору.

Какая же часть этих женщин входит в список напористых пациентов и как коррелируют результаты первого исследования со вторым?

Все эти парадоксы и несовпадения были бы забавными, если бы не тот факт, что нас буквально окружают заголовки «Учёные доказали, что…» и «Результаты исследования говорят о…». СМИ любят психологов и их заявления. Например, The Times регулярно публикует подобные статьи, однажды представив сразу пять материалов на данную тему за один день. Издание рассказало о том, как внешность лучших друзей влияет на нашу личную жизнь; о развитии клинической депрессии у тех, кто занимается скучной работой; как дети пытаются самостоятельно лечить депрессию с помощью советов в интернете; о том, что на рабочем месте люди чувствуют себя более одинокими, нежели в отпуске; и о том, как родители способны пойти на обман ради того, чтобы их чадо училось в хорошей школе. И уже на следующей неделе издание The Sunday Times выпустило огромный материал, рассказывающий о нашей психологической жизни и изменениях в ней.

Эта новая категория новостей не так уж плоха и в последнее время становится одной из самых востребованных и актуальных. Но нам нужно призвать на помощь всё своё здравомыслие, чтобы правильно интерпретировать результаты всех этих исследований. Дело в том, что психологические эксперименты отличаются не только сферой интереса, но и качеством выполненной работы. Некоторые из них проводятся профессиональными психологами, некоторые — социологическими организациями, а некоторые — благотворительными. Также в исследованиях часто принимают участие государственные или коммерческие организации. Поэтому подобные изыскания нельзя считать объективными, их методология и охват как минимум должны вызывать у вас подозрение.

Сколько людей приняли участие в исследовании? Насколько комплексным был статистический анализ? Хорошо ли продумана общая концепция?

От того, как вы ответите на данные вопросы, зависит состоятельность исследования и его результатов.

Но и это ещё не всё. Достоверность или ненадёжность психологических исследований были подвергнуты ещё более мощной атаке, чем простая проверка на объективность и правильную методологию. Впервые сомнения были высказаны в 2013 году, когда Джон Айонидис (John Ionnidis), эпистемолог из Стэндфордской медицинской школы, опубликовал свою знаменитую работу. Она была посвящена неврологии, которую принято считать жёсткой формой психологии. Именно в этой сфере науки широко используется функциональная МРТ как способ фиксации работы мозга. Несмотря на мощный медицинский инструментарий, профессор считает результаты неврологических исследований ненадёжными и описывает явление вуду-корреляции. Под этим термином понимается неправильная интерпретация связи между активностью мозга и поведением человека.

Вуду-корреляция может возникать из-за некачественного использования функциональной МРТ или плохой работы с полученными данными. Проверка 53 исследований на предмет наличия этой вуду-корреляции показала: половина из них ненадёжны, а выводы содержат серьёзные изъяны. Другой анализ продемонстрировал: методологические ошибки содержались в 42% работ из 134 опубликованных.

Существует ещё одна проблема, о которой мало кто вспоминает. Большинство психологических исследований практически нельзя повторно воспроизвести так, чтобы получить тот же самый результат. Для того чтобы доказать существование такого явления, был проведён масштабный эксперимент, в котором принимали участие 270 научных сотрудников со всего мира. В рамках проекта учёные попытались повторить более сотни психологических экспериментов, результаты которых ранее публиковались в трёх крупнейших научных журналах:

  • Psychological Science;
  • Journal of Personality and Social Psychology;
  • Journal of Experimental Psychology: Learning, Memory and Cognition.

Иными словами, целью данной работы было проверить те исследования, которые в своё время удостоились публикации в самых известных и уважаемых изданиях.

Результаты оказались неутешительными. Во-первых, выяснилось, что предсказываемый эффект на практике в среднем был вдвое меньшим. Например, если новая методика обучения обещала улучшить образовательный процесс на 12%, на практике получалось только 6% прогресса. Во-вторых, первоначальные исследования оценивали 97% полученных данных как статистически значимые. А вот повторно проведённый эксперимент показал: использовать для работы можно только 36% полученной информации. Кроме того, многие психологические исследования воспроизвести вообще не получилось, любая попытка оканчивалась провалом.

О чём это говорит? Мы обладаем огромным аппетитом и хотим знать больше о своей эмоциональной, социальной и интеллектуальной жизни. Мы заинтересованы в себе так, как ни в ком и ни в чём другом. Но одной фразы «Учёные доказали, что мозг женщины идентичен мозгу мужчины» недостаточно для того, чтобы вы расслабились и приняли этот факт на веру.

Включайте внутреннего критика! Единственное, в чём мы можем быть уверены: мозг женщины и мозг мужчины должны быть одинаково скептичны.

Это упрощённая версия страницы.

Читать полную версию
sirius2
Перечень, на всякий случай, приводить не буду. Ну, чтоб камнями не закидали.
Шлёп Копыто
Правильная подача заголовка должна была бы быть такой: «Почему нельзя доверять передёргиваниям прессы». Ведь именно ваш брат-журналист придумывает ничем необоснованные названия, в то время как те же исследователи (и психологи с социологами здесь не исключение) краснеют от стыда перед своими коллегами за ваше неразумное восприятие их исследований, ну или сами як кони ржут над вами... В остальном годно, только подробно и не столь поверхностно, доступно можно-таки прочитать всё это именно что у единственного психолога с нобелевкой
Людмила Казанцева
Есть исследования, статистика, мнения, миллион наук, а есть чувствование себя. Просто чувствование себя.
Dennis Kozyrevich
Журналисты не виноваты, что сейчас можно проводить так называемые "социальные эксперименты"(youtube просто забит), которые не могут быть не только экспериментом по определению, так же с первых секунд понятно, что авторы таких "экспериментов", просто незнакомы с такими понятиями как: статистика,выборка,достоверность,корреляция и тд...., "занимаетесь ли вы спортом?"-спрашивают они посетителей фитнес клуба,смешно. Статья адекватна,согласно моему субъективному видению объективной реальности.
Читать все комментарии