Можно ли верить результатам социологических опросов

Соцопросы в целом полезная вещь. Благодаря им можно понимать настроения и тенденции в обществе, делать выводы о массовости тех или иных явлений. Вот только опрос опросу рознь: результаты могут давать важную информацию, могут ничего не показывать, а могут и сами по себе влиять на общественное мнение. Попробуем во всём этом разобраться.

От чего зависят результаты соцопросов

На итоговые данные могут влиять несколько факторов, от процесса организации исследований до особенностей человеческого мышления и поведения.

Выборка

Вы определённо видели новости с заголовками вроде «Опрос показал, что 72% россиян предпочитают планировать свою жизнь» или «Более 40% опрошенных россиян предпочитают звонки перепискам». Обычно в таких заметках ссылаются на какой-нибудь крупный исследовательский центр. И в первом, и во втором примере выше опрос проводил ВЦИОМ. Всероссийский центр изучения общественного мнения — звучит солидно.

Стандартно для соцопросов привлекают 1 600 респондентов. Данные корректируются по социально-демографическим параметрам (пол, возраст, образование, доход и так далее), а погрешность выборки не превышает 2,5%. С точки зрения методологии такой подход оправдан, и даже 1 600 человек могут говорить от имени всей страны, если отобраны правильно.

«Если» — ключевое слово. Выборка может быть сформирована с учётом всех требований, чтобы отражать мысли и настроения группы, мнение которой планируется изучать, а может — как попало.

Татьяна Смирнова

Диджитал-исследователь сервиса онлайн-опросов Anketolog.ru.

Формирование выборки — это всегда компромисс между желаемой точностью данных и имеющимся бюджетом проекта. В коммерческих исследованиях, например, чаще всего используют квотный отбор респондентов, когда исследователь заранее задаёт определённые параметры, которым должен соответствовать каждый участник опроса, — это обеспечивает контроль над структурой выборки и относительную простоту реализации.

Для этого на основе уже имеющихся данных об аудитории исследователь определяет, сколько людей с заданными характеристиками ему потребуется. Участников опроса набирают до тех пор, пока все квоты не будут заполнены.

По словам эксперта, детальное описание выборки в открытом доступе встречается редко. Поэтому о её качестве можно судить по косвенным признакам. Основные ориентиры — сертификат соответствия и репутация исследовательской организации в профессиональном сообществе.

Доля согласившихся отвечать

Существует такой показатель, как доля согласившихся отвечать на вопросы, или Response Rate (RR). Чем он ниже, тем более критично стоит оценивать результаты соцопроса. Например, социологическая служба дозвонилась до 1 600 человек, из них 400 согласились ответить на вопросы. Response Rate = (400 ∕ 1 600) × 100% = 25%. То есть удалось узнать мнение только четверти респондентов, остальные промолчали.

Показатель RR сообщает не каждая социологическая служба или агентство. Но даже если он известен, результаты опроса могут как заслуживать доверия, так и не заслуживать — важно, почему человек отказался принимать участие. Может, он устал от телефонного спама. Или от людей, пристающих с вопросами на улице, и уходит, едва услышав: «Здравствуйте, примете участие в опросе?»

К сожалению, если исследователи не позаботились, те, кто изучает опубликованные результаты, о причинах отказов узнать не смогут. Между тем поводы могут быть разными. В том числе можно предположить, что значительная часть людей, которые дали бы неудобные с точки зрения общественного мнения или законодательства ответы, выбрали не участвовать в опросе. Поэтому результат будет выглядеть так, будто большинство респондентов придерживаются позиции, социально одобряемой в данный момент. 

Форма вопроса

Многое зависит от того, как именно сформулирован вопрос. Например, он может подталкивать к «правильному» ответу.

Допустим, соцопрос связан с возможным запретом абортов и вопрос звучит так: «Считаете ли вы, что убийство ребёнка до рождения надо запретить, или поддерживаете позицию феминисток, что у женщин есть право распоряжаться своим телом?» В такой формулировке сразу несколько триггерных слов: «убийство», «ребёнок», «феминистки», «право женщины». Респондентам, возможно, до этого было всё равно или они были против запрета абортов. Но кого-то подобная постановка вопроса может подтолкнуть к позиции за, потому что убивать вроде как плохо, а «феминистка» до сих пор для многих ругательное слово.

Или вопрос может быть сформулирован так, что выставляет респондента в невыгодном свете. Допустим, надо выяснить, сколько алкоголя люди пьют на самом деле. Спрашивать «Сколько вы пьёте?», по сути, бесполезно, потому что мало кто признается, что употребляет с вечера пятницы до вечера воскресенья. Поэтому результаты рискуют показать гораздо более оптимистичную картину, чем она есть в реальности.

Татьяна Смирнова

Вопрос — это уже половина ответа. От того, как он сформулирован, зависит качество полученных данных. Эксперты проверяют каждый вопрос анкеты на однозначность и непредвзятость формулировки, полноту вариантов ответа, логику перехода между вопросами. Также следят за порядком вопросов — он должен быть плавным и непротиворечивым, чтобы имитировать беседу.

Для получения надёжных данных исследователи тестируют инструментарий. По готовой анкете опрашивают 10–15 представителей целевой аудитории опроса и собирают обратную связь: что было понятно, каких опций не хватило, в какой момент начала снижаться концентрация внимания.

Подтасовка фактов

Соцопросы бывают разные. Например, видео из соцсетей, где автор спрашивает прохожих, знают ли они год смерти Пушкина и столицу Бразилии, тоже называют соцопросами. И на их основании делают вывод о том, что молодёжь стала глупее.

Проблема не только в том, что авторы подобных опросов не уделяют никакого внимания репрезентативности выборки и всем другим факторам, которые учитывают профессиональные социологи. Смонтировать такое видео можно как угодно: респонденты в итоге могут оказаться очень умными или очень глупыми — всё в руках монтажёра.

Интересы заказчика

Иногда данные опроса могут не быть ложью, но исследование будет подготовлено так, чтобы результаты отвечали интересам того, кто его заказывает.

Например, реклама косметики часто сопровождается фразами вроде «наш шампунь увеличивает объём волос в 2 раза» или «наш пирог лучше остальных на 74%». Как правило, это результат потребительских тестов, когда людей просто опрашивают. Также клиентов иногда стимулируют писать положительные отзывы в обмен на бонусы. В общем, способов воздействовать на участников опросов может быть много.

Добросовестность опрашивающих

Чтобы результаты соцопроса были правдивыми, специалисты, которые работают непосредственно с респондентами, должны полностью соблюдать процедуру. То есть опрашивать тех, кто указан в выборке, задавать вопросы так, как они сформулированы, и — главное — реально общаться с людьми, а не просто заполнять анкеты от чужого имени, лишь бы побыстрее закончить.

Эффект присоединения к большинству

Это когнитивное искажение, которое заставляет человека вести себя так же, как и многие люди вокруг него, даже если подобное поведение противоречит его взглядам, вкусам или желаниям.

Соответственно, некоторые участники соцопросов могут думать как угодно, но ответы будут давать такие, которые, по их мнению, будут социально одобряемыми. Если в обществе нормально пить коньяк по утрам, то человек в этом легко признается. Но если ему кажется, что это не принято и маргинально, он скорее соврёт, даже если плещет себе в утренний кофе немного спиртного.

Понимать, что именно социально одобряемо, а что нет, человек может на основе разных источников, включая не всегда объективные. И общественным мнением можно манипулировать: если долго говорить, что большинство считает так и никак иначе, результаты соцопросов могут показывать, как тех, кто поддерживает такую позицию, становится всё больше. Что они думают на самом деле, никто, впрочем, не узнает.

Ложь

Речь об этом частично шла выше, но ложь всё же стоит обозначить отдельным пунктом. Люди обманывают по разным причинам, например чтобы выглядеть лучше в чужих глазах или чтобы избежать опасности. 

Ложь может быть значимым фактором, если людям задают вопросы на чувствительные темы — даже анонимно. Например, если за употребление наркотиков или какое-то другое поведение предусмотрено наказание, респонденты менее охотно будут говорить правду. 

Вообще, скрупулёзные исследователи учитывают этот момент и с помощью, например, похожих вопросов в разных формулировках или других инструментов могут снижать влияние ложных ответов на результаты. Но сторонний наблюдатель может понять, делалось ли это, только если у него есть доступ к полному отчёту, а не одним финальным данным. 

Стоит ли доверять результатам соцопросов

Да, но с осторожностью.

Для начала: результаты многих соцопросов часто не содержат никакой важной для среднестатистического человека информации. Прочитали вы, допустим, что большинство россиян предпочитают звонки сообщениям, а яблоки — бананам. В целом, как будто можно и поверить, если только вы не продаёте яблоки или бананы и не ищете, по какому каналу связываться с потенциальными покупателями. Это важно для исследователей, для торговых сетей, для тех, кто занимается статистикой. Вы со своими знакомыми продолжите общаться так, как вам удобно, и потребительские привычки вряд ли измените. 

Татьяна Смирнова

Важно понимать, что опрос, как и любой другой инструмент, имеет свои ограничения. В отличие от больших данных, которые собираются автоматически, опрос требует готовности респондента потратить время и силы на его прохождение. Но если большие данные показывают, что происходит и как часто, то опрос дополняет картину инсайтами о том, почему это происходит и что, например, клиенты ждут от продукта.

Если вы хотите знать, что люди реально думают, стоит внимательно изучить дизайн исследования: какая выборка, указана ли доля согласившихся отвечать, как сформулированы сами вопросы и какие ответы могут быть безопасными и социально одобряемыми. И только потом решать, верить или нет. Предварительную проверку за вас никто не сделает.

При этом стоит помнить, что соцопросы в целом отражают скорее тренды, чем разделение мнений в обществе с точностью до доли процента. Поэтому, если уж идти до самой сути, заодно надо поднять предыдущие аналогичные опросы и посмотреть, что люди говорили три года назад, пять лет назад и так далее. В результате вы можете получить интересную картину, даже если она не очень точная.

*Организация внесена Минюстом РФ в реестр некоммерческих организаций, выполняющих функции иностранного агента.