Стандарты качества массовых опросов

А. Н. Чумиков, М. П. Бочаров, 
С. А. Самойленко

Реклама и связи 
с общественностью: 
профессиональные  
компетенции

Учебное пособие

| Издательский дом ДЕЛО |

Москва | 2019

Стандарты качества 
массовых опросов

Сборник научных статей

Под редакцией Д.М. Рогозина и А.А. Ипатовой

УДК 316
ББК 60.54
       C11

C11

Художник Вадим Спиренков 

Стандарты качества массовых опросов: сборник научных статей /  
  под науч. ред. Д. М. Рогозина и А. А. Ипатовой; пер. с англ. 
Д. М. Рогозина и А. А. Ипатовой. —  М. : Издательский дом «Дело» 
РАНХиГС, 2019. — 232 с.

ISBN 978-5-7749-1481-4

Качество опросов общественного мнения определяется точностью и 
эффективностью процедур и мероприятий по отбору респондентов, 
установлению контакта, получению информированного согласия, 
проведению и завершению интервью, учету и анализу отказавшихся 
от участия в опросе. Качество каждой процедуры, каждого мероприятия задается стандартами и требованиями учета и контроля отклонений от спроектированного опросного дизайна. Специалистами 
Института социального анализа и прогнозирования РАНХиГС предложены переводы стандартов качества Американской ассоциации исследователей общественного мнения (AAPOR), которые дополнены 
оригинальными статьями, адаптирующими американский опыт к 
российской действительности. Сборник будет полезен специалистам 
в области массовых опросов, исследователям общественного мнения, 
журналистам, политическим аналитикам, государственным служащим, использующим результаты опросов в своей профессиональной 
деятельности, а также студентам, аспирантам и преподавателям по 
социальным и политическим наукам.

ISBN 978-5-7749-1481-4
УДК 316
ББК 66.54

© ФГБОУ ВО «Российская академия народного хозяйства  
и государственной службы при Президенте Российской  
Федерации», 2019

Содержание

Предисловие . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

Открытость методики как этическая норма 
Д.М. Рогозин  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

Кодекс профессиональной этики и практики  
(дополнен 30.11.2015). Американская ассоциация 
исследователей общественного мнения  
Перевод с английского Д. М. Рогозина  . . . . . . . . . . . . . . . 19

Понятия, используемые в Кодексе  . . . . . . . . . . . . . . . . . . 20
I. Принципы профессиональной ответственности  
в отношениях с людьми  . . . . . . . . . . . . . . . . . . . . . . . . 21
А. Участники . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
B. Исследование, содержащее персональную  
идентификационную информацию . . . . . . . . . . . . . . . 22
С. Клиенты и спонсоры .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 23
D. Общественность . . . . . . . . . . . . . . . . . . . . . . . . . 24
E. Профессиональное сообщество  . . . . . . . . . . . . . . . . 25
II. Принципы профессиональной деятельности  
при проведении нашей работы . . . . . . . . . . . . . . . . . . . . 25
III. Стандарты раскрытия  . . . . . . . . . . . . . . . . . . . . . . . 26
А. Раскрытие деталей опросов  . . . . . . . . . . . . . . . . . . 27
В. Раскрытие деталей качественных исследований . . . . . . 30
С. Раскрытие деталей контент-анализа . . . . . . . . . . . . . 31

Стандартные определения: систематическое описание 
диспозиционных кодов и коэффициентов  
результативности для массовых опросов 
Перевод с английского Д.М. Рогозина и А.А. Ипатовой  . . . . . 35

Предисловие к переводу 9-го издания  
«Стандартных определений» 2016 года  . . . . . . . . . . . . . . . 35
Предисловие к переводу 8-го издания  
«Стандартных определений» 2015 года  . . . . . . . . . . . . . . . 37

Предисловие к переводу 3-го издания  
«Стандартных определений» 2004 года  . . . . . . . . . . . . . . . 41
Предисловие . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
Предыстория стандарта  . . . . . . . . . . . . . . . . . . . . . . . . 46
Введение  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
Телефонные опросы домохозяйств методом RDD  . . . . . . . . . 61
Личные интервью по месту жительства . . . . . . . . . . . . . . . 78
Почтовые опросы заранее отобранных адресатов . . . . . . . . . 87
1. Возвращенные анкеты .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 89
2. Невозвращенные анкеты, соответствующие  
критериям отбора .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 91
3. Нет возврата анкет и отсутствует информация 
о соответствии критериям отбора . . . . . . . . . . . . . . . . 94
4. Нет соответствия критериям отбора  . . . . . . . . . . . . . 97
Почтовые опросы заранее не отобранных адресатов  . . . . . . . 98
1. Возвращенные анкеты  . . . . . . . . . . . . . . . . . . . . 102
2. Невозвращенные анкеты, соответствующие  
критериям отбора .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  104
3. Нет возврата анкет и отсутствует информация 
о соответствии критериям отбора . . . . . . . . . . . . . . . 109
4. Нет соответствия критериям отбора  . . . . . . . . . . . . 111
5. Рекомендации относительно е . . . . . . . . . . . . . . . . 112
Интернет-опросы заранее отобранных пользователей . . . . . 113
Комбинированные опросы .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  128
Опросы организаций . . . . . . . . . . . . . . . . . . . . . . . . . 129
Расчет коэффициентов результативности на основе 
окончательных диспозиционных кодов . . . . . . . . . . . . . . 143
Коэффициенты ответов  . . . . . . . . . . . . . . . . . . . . . 144
Коэффициенты кооперации .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  146
Коэффициенты отказов  . . . . . . . . . . . . . . . . . . . . . 147
Коэффициенты контактов . . . . . . . . . . . . . . . . . . . . 148
Отчетность по коэффициентам результативности  . . . . . 149
Комплексный дизайн . . . . . . . . . . . . . . . . . . . . . . . . . 150
Заключение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
Список литературы  . . . . . . . . . . . . . . . . . . . . . . . . . . 157
Таблица 1. Диспозиционные коды для телефонных  
опросов методом RDD  . . . . . . . . . . . . . . . . . . . . . . 163
Таблица 2. Диспозиционные коды для личных интервью  
по месту жительства  . . . . . . . . . . . . . . . . . . . . . . . 166
Таблица 3. Диспозиционные коды для почтовых опросов 
заранее отобранных адресатов . . . . . . . . . . . . . . . . . 168
Таблица 4. Диспозиционные коды для почтовых опросов 
заранее не отобранных адресатов . . . . . . . . . . . . . . . 171
Таблица 5. Диспозиционные коды для интернет-опроса 
заранее отобранных пользователей . . . . . . . . . . . . . . 174
Пресс-релиз AAPOR о коэффициентах ответов . . . . . . . . . . 176

Оценка качества опроса в сложных условиях современности 
Перевод с английского А. А. Ипатовой . . . . . . . . . . . . . . . 178

Предисловие переводчика . . . . . . . . . . . . . . . . . . . . . . 178
Введение и задачи . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
Методика оценки  . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
Важность транспарентности . . . . . . . . . . . . . . . . . . . . . 182
Покрытие . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
Построение выборки  . . . . . . . . . . . . . . . . . . . . . . . . . 186
Неответы  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
Измерение  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
Другие факторы . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204

Список литературы . . . . . . . . . . . . . . . . . . . . . . . . . 208

Предметный указатель . . . . . . . . . . . . . . . . . . . . . . . 214

Предисловие

Опросы общественного мнения —  сфера исследовательской активности с высоким уровнем 
регламентации и стандартизации. В отличие от 
гибких этнографических и антропологических 
подходов стандартизированное интервью, лежащее в основе опросной технологии, требует 
выполнения точных предписаний как в отборе 
респондентов, так и в предъявлении вопросов 
и фиксации ответов.

Вместе с тем любое интервью, в том числе 

и стандартизированное, —  это прежде всего разговор, обмен репликами между спрашивающим 
и отвечающим. Этот разговор подчинен обыденным коммуникативным правилам, этическим 
нормам, прагматическим соображениям его 
участников. Данное обстоятельство накладывает значительные ограничения на формализацию 
процедур, требует постоянного контроля и анализа отклонений от предписанных норм и в случае обнаружения значительных отклонений —  
пересмотра самих норм.

Исторически сложилось, что Американская 

ассоциация исследователей общественного мнения на протяжении многих десятилетий задает 
международные стандарты качества, регулирует рынок количественных исследований с точки 
зрения методической адекватности, валидности 
и надежности получаемых результатов.

За эти годы американские коллеги выработали 

систему взглядов, согласно которой невозможно 

7

Рис. 1. Теория общей ошибки исследования

Стандарты качества массовых опросов

8

получить безошибочных измерений общественного мнения. 
Поэтому задача исследователей заключается не в стремлении 
полностью избавиться от ошибок, а в тщательном их изучении и учете в статистических и логических выводах.

Теория общей ошибки исследования —  проверенный вре
менем концептуальный инструмент для измерений ошибок 
и смещений. Стандартизированное интервью проходит две 
стадии. Первая стадия —  отбор респондента, вторая —  проведение интервью по стандартизированной анкете. В теории 
общей ошибки исследования эти стадии разделяют два типа 
ошибок: репрезентации и измерения. В свою очередь, ошибки репрезентации делятся на ошибки покрытия, выборки, неответов и редактирования. Ошибки измерения —  на ошибки 
спецификации, измерения, регистрации и вывода (см. рис. 1).

Методическая работа состоит как в измерении ошибок, 

так и в поиске оптимальных решений, компромиссов по принятию или отказу от того или иного вида ошибок. Это связано с тем, что все ошибки взаимосвязаны. Для качественного 
проведения опроса необходимо не только знать величину 
ошибок, но и их взаимосвязи. Задача почти невыполнимая, 
задающая программы исследований на долгие годы вперед.

Предисловие

В настоящем сборнике представлены три стандарта, наи
более полно описывающие современные представления о качестве массовых опросов.

Во-первых, Кодекс профессиональной этики и практики, 

определяющий доминирующую этическую норму всех полевых исследований —  тотальную транспарентность методических процедур, описаний, проектируемой и выполненной 
активности по отбору и измерению. Важность настоящего 
стандарта настолько велика, что мы включили в сборник развернутый комментарий —  «Открытость методики как этическая норма».

Во-вторых, «Стандартные определения: систематическое 

описание диспозиционных кодов и коэффициентов результативности для массовых опросов» —  основной документ, 
регламентирующий процедуры опросов общественного мнения.

В-третьих, «Оценка качества опроса в сложных условиях 

современности» —  комментарии и пояснения к базовым требованиям теории общей ошибки исследования. Оформленные в качестве ответов на вопросы, пояснения вводят читателя в мир методической культуры, где сложности и ошибки 
воспринимаются не как проблемы, а как вызовы для развития и становления опросной индустрии.

Стандарты качества опросной индустрии регулярно пу
бликуются. Фонд «Общественное мнение», ВЦИОМ, ЛевадаЦентр, РАНХиГС, Институт социологии РАН внесли значительный вклад в развитие методической культуры в нашей 
стране. Настоящее издание объединяет труд многих исследовательских коллективов, репрезентирует российский путь 
становления стандартизации опросов общественного мнения. Пока этот путь построен на восприятии и копировании 
западного опыта. Но мы не теряем надежду, что вскоре российское методическое сообщество начнет принимать самостоятельные решения, производить стандарты, соответствующие международному уровню опросной деятельности.

Д. М. Рогозин
Открытость методики  
как этическая норма 

1

Одним из важнейших факторов институционализации исследовательской деятельности участников опросного рынка является их профессиональная этика. Систематизация связанных с ней 
практик, выявление их современной структуры 
и динамики помогают как собственно выработке жизнеспособных этических норм, так и их закреплению, то есть формированию взвешенной, 
обоснованной позиции при организации исследований и представлении их результатов в публичной дискуссии.

Этические стандарты динамичны и истори
чески обусловлены. Ниже публикуется перевод 
Кодекса профессиональной этики и практики 
Американской ассоциации исследователей общественного мнения (AAPOR). В настоящий момент 
этот Кодекс можно считать, пожалуй, единственным полным и непротиворечивым инструментом для регулирования этической компоненты 
социальных исследований. Кодекс представляет 
собой яркий пример внутрипрофессиональной 
экспертизы 
исследовательской 
деятельности. 

Основываясь на инструментальном, а не на моральном подходе к критериям качества, он по
 
1 Рогозин Д. М. Открытость методики как этическая норма // Социологический журнал. 2016. № 2. С. 135–142. 
DOI: 10.19181/socjour.2016.22.2.4261.

Открытость методики как этическая норма

11

зволяет отстроить стандарты социальных исследований 
и требования к ним, которые возможно контролировать без 
апелляции к обобщенным категориям справедливости, добра, честности и правдивости. Морально-нравственные постулаты, просматриваемые в некоторых профессиональных 
кодексах, не имеют инструментального значения; описываемые ими нормы нельзя ни контролировать, ни вызывать 
у людей с заведомо отклоняющимся поведением. Только 
детальная регламентация и регистрация профессиональной 
деятельности могут позволить оценить степень такого отклонения. Для российских исследователей подобный подход может показаться весьма странным, непривычным. Тем важнее 
внимательно отнестись к традиции заокеанских коллег, присмотреться к тем этическим баталиям, которые разворачиваются на североамериканских просторах и позволяют как полстерам, так и всем заинтересованным лицам формировать 
доступную для критики и развития информационную среду.

Последние дополнения в этот Кодекс были внесены Сове
том Ассоциации 30 ноября 2015 года. Они касались уточнений третьего раздела, посвященного стандартам раскрытия 
информации. Подчеркнем, что прагматический аспект этических норм в современном толковании по большей части 
редуцирован до стандартов раскрытия информации об исследовании.

Сейчас Кодекс состоит из преамбулы, описания основных 

понятий и трех базовых частей: принципов профессиональной ответственности в отношениях с людьми, принципов 
профессиональной практики в проведении исследования 
и стандартов раскрытия информации об исследовании (см. 
рис. 2).

Первые два базовых раздела концептуально остаются 

практически без изменений на протяжении десятилетий. 
Единственная кардинальная новация 2010-х годов относится 
к значительному расширению понятия субъектов, подпадающих под регулирование Кодексом. Если ранее ассоциация 
в качестве таковых видела лишь полстеров, проводящих 
опросы, в которых участвовали респонденты, то затем, с массовым распространением иных способов сбора информации, 

р


 Рис. 2. Структура Кодекса профессиональной этики и практики AAPOR

Открытость методики как этическая норма

13

«респонденты» в Кодексе были заменены на «участников» 
(с 2014 года). Это потребовало введения раздела об основных 
понятиях и частичной корректировки принципов профессиональной этики и практики, зафиксированных в первых двух 
разделах.

Значительному расширению и преобразованию подвергся 

третий раздел —  о стандартах раскрытия информации. В нем 
детально и скрупулезно описаны требования к раскрытию 
информации о массовых опросах (что во многом развивает идеи, заложенные в предыдущей версии), качественных 
исследованиях и контент-анализе. Кроме того, отдельный 
пункт посвящен комбинированным опросам, где требуется 
применение соответствующих стандартов к каждому из совмещаемых в одном исследовании методу или подходу. Дополнительные пункты Е и F обусловлены чередой разбирательств, которые инициировала AAPOR за последние годы. 
Разбирательства, имевшие наиболее значительные последствия для индустрии, сопровождались бурным обсуждением 
в средствах массовой информации и были отражены в прессрелизах Ассоциации [AAPOR, 1997, 2009a, 2009b].

В Кодексе профессиональной этики и практики особо от
мечается, что этот документ не сертифицирует профессиональную компетентность исследователей, а лишь регулирует отношения между участниками исследования, клиентами 
и спонсорами, широкой общественностью и профессионалами. Такая позиция имеет давнюю предысторию. Со времени учреждения Ассоциации в 1947 году шли жаркие споры 
о создании стандартов и утверждении научных критериев 
для проведения опросов общественного мнения. Одну из 
сторон заняла профессорская аудитория, которая настаивала 
на необходимости развития стандартов качества, внедрения 
развернутых требований к методам и правилам проведения 
опросов. Примером может служить подробное изложение 
требований к стандартизации, представленное Стюартом 
Доддом [Dodd, 1947]. Шесть областей стандартизации —  репутация исследовательской компании, анкета, выборка, интервью, отчетность и администрирование опроса —  разбивались на 41 позицию, каждая из которых, в свою очередь,