Ошибка измерения социология

Чаще всего именно системную ошибку измерения называют погрешностью выборки. Значит, для определения погрешности выборки надо определить системную ошибку измерения. Последние годы я применяю достаточно простую методику для того, чтобы определить систематическую ошибку измерения, полученную в ходе социологического опроса.

На самом деле определение погрешности выборки — дело нетривиальное. Для того, чтобы определить погрешность выборки, надо какое-то значение генеральной совокупности (к примеру, рейтинг) сравнить с этим же значением в выборке. Но мы же проводим выборочное исследование для того, чтобы по данным выборке судить о данных всей генеральной совокупности и в данном случае погрешность должна сказать, насколько сильно значение во всей генеральной совокупности может отличаться от выборочного. Получаем уравнение с двумя неизвестными.

Давайте разбираться в ситуации.

Говорить об ошибке выборки для всего опроса не совсем корректно. Под ошибкой понимают разницу между показателем какого-либо признака в генеральной совокупности и в выборке. Таким образом, для каждого признака надо говорить о своей погрешности. Высказывание «погрешность опроса» чаще всего бывает бессмысленным, лучше говорить о «погрешности вопроса». Но моя методика как раз подходит для практически всего исследования.

В политических исследованиях, да и в коммерческих тоже, мы чаще всего имеем дело с бинарными вопросами, то есть вопросами, на который дается ответ «да» или «нет». Классический рейтинговый вопрос «За кого бы Вы проголосовали, если бы выборы состоялись в ближайшие выходные?» — частный случай бинарного вопроса. Его можно представить как несколько вопросов о поддержке каждого кандидата или партии: «Если бы выборы проходили в ближайшие выходные, проголосовали бы вы за кандидата N***?» и два варианта «Да, проголосовал» и «Нет, не проголосовал».

В статистике для оценки погрешности биноминального распределения используется следующая формула:

где S_bin — ошибка биноминального распределения

p — процент наблюдений (рейтинг)

n — размер выборки.

Максимального значения ошибка достигается, когда p=50%, то есть пополам ответили «да, проголосовал бы» и «нет, нет не проголосовал бы». Во всех остальных случаях ошибка меньше. Мы можем оценить ошибку взяв максимальное значение.

На следующем шаге мы воспользуемся правилом «Двух сигм» (или, по желанию, правилом «Трех сигм»). Правило говорит, что 95% всех значений распределения укладываются в интервал

В этом случае ошибку, согласно правилу «двух сигма» при 95%-ном доверительном интервале равна ±2*S_bin. В итоге мы получаем формулу, с помощью которой можно оценить ошибку выборки при 95%-ном доверительном интервале и ошибка будет зависеть только от размера выборки:

Где ε — погрешность выборки, n — размер выборки.

Получаем, что для выборки в 1000 человек погрешность измерения составит 3% при 95%-ном доверительном интервале.

Ошибка измерения

В
результате измерения разным объектам
приписываются различные значения на
основе оценок, заданных нашими
показателями. Дифференциация в оценках
может возникать за счет двух основных
источников. Первый источник – это
величина реального проявления у объектов
определенной степени или аспекта
интересующего нас свойства. Разные
оценки возникают тогда, когда наши
измерения действительно улавливают
эту дифференциацию. В этом случае
измерения отражают
реальные
различия между понятиями. Другой источник
дифференциации значений – та величина,
которая относится к самому измерению
или к условиям его осуществления, что
предопределяет наличие разных значений
у разных объектов. В этой ситуации наши
измерения не демонстрируют реальных
различий между объектами, т. е. таких,
которые отражают подлинную дифференциацию
понятий, которые мы хотим измерять.
Наблюдаемые нами в этом случае различия
возникают из-за погрешностей в процедуре
измерения.

Если
бы наши измерения были совершенны, они
бы демонстрировали только различия
первого рода. Однако наши измерения
крайне редко (если вообще когда-либо)
бывают безупречными. Дифференциация
значений, приписываемых разным объектам,
неизбежно отражает не только реальные
различия в степени проявления некоторого
понятия, но и “искусственные” различия,
обусловленные процессом измерения.
Любая дифференциация значений, приписанных
реальным объектам, обусловленная чем
бы то ни было, кроме действительных
различий, относится к ошибкам
измерения.
Они представляют собой не действительные
различия между объектами, а различия,
зарегистрированные ошибочно, из-за
недочетов процесса измерения.

Грань
между истинными вариациями оценок и
вариациями, обусловленными ошибкой
измерения, подобна различиям между
объектами, фиксируемыми невооруженным
глазом, и различиями, отмечаемыми лишь
при [c.94] разглядывании
их отражения в зеркале. В той степени,
в какой зеркало искажает образы, оно
либо скрадывает различия, которые можно
было бы увидеть невооруженным глазом,
либо создает впечатление существования
различий, которые мы в других условиях
не заметили бы. В социальных науках у
нас крайне редко появляется возможность
наблюдать ключевые понятия непосредственно,
и мы вынуждены полагаться на отражение
этих понятий с помощью измерительных
процедур, аналогичных зеркалу.
Соответственно, правильность наших
представлений зависит от точности, с
которой наши измерения отражают
действительность.

Каковы
хотя бы некоторые из источников искажения
образов, обусловленных нашими измерениями?
Необходимо знать ответ на этот вопрос,
если хотим контролировать ошибки
измерения или распознавать их, когда
они присутствуют в наших данных. Мы
можем перечислить несколько основных
источников ошибок измерения, установив
наиболее частые источники различий в
оценках, относимых к другим,
неистинным различиям в характеристиках,
которые мы хотим измерить⁵.

1.
Различия в распределении между объектами
других, относительно постоянных
характеристик, которые были непреднамеренно
выявлены нашими измерениями. Например,
для понимания вопросов, предназначенных
для измерения политической идеологии,
и ответа на них может понадобиться
определенный уровень интеллекта. Если
это так, ответы на вопросы будут отражать
не только политико-идеологические, но
и интеллектуальные различия между
людьми. В окончательном результате
влияние интеллекта и влияние политической
идеологии будут перемешаны, и мы не
сможем определить различия в оценках,
обусловленные идеологическими факторами,
и отличить их от различий, обусловленных
интеллектуальными факторами. Аналогичным
образом другие характеристики наших
единиц анализа (такие, как региональное
расположение городов, культурные
особенности нации или источники
документов) могут случайно отразиться
в наших измерениях и исказить наше
восприятие рассматриваемых понятий.
Там, где эти “возмущающие” воздействия
можно выявить и измерить, необходимо
посмотреть, что произойдет, если
поддерживать их
значения на постоянном [c.95]
уровне:
исчезнут, уменьшатся или увеличатся
различия в оценках, которые получают
объекты по нашим измерениям⁶.

2.
Различия в распределении между объектами
временных характеристик, которые
отражаются в наших измерениях. Характер
ответов на вопросы анкеты может
определяться настроением или состоянием
здоровья отвечающего. Недавние события
в политической жизни города (например,
раскрытие случаев коррупции среди
должностных лиц) могут создавать
временные, но систематическиеразличия в том, как
жители этих городов отвечают на вопросы
исследования. Большое стихийное бедствие
может произвести коренные и вместе с
тем временные изменения в статистических
данных, на которые мы опираемся при
выяснении уровня экономического
развития.
Обнаруживать и контролировать воздействие
таких временных “аномалий” труднее,
чем воздействие постоянных характеристик
объектов. Единственный способ уберечься
от воздействий такого рода – это
внимательно относиться к сигналам,
предупреждающим о том, что отдельные
объекты находятся под влиянием таких
преходящих факторов (например, изучать
недавние события в политической жизни
городов, входящих в нашу выборку, или
советовать интервьюерам не проводить
интервью с человеком, который в данный
момент тяжело болен), и выполнять
процедуры, предназначенные для проверки
надежности измерений (такие процедуры
описываются в разделе данной главы,
посвященном надежности).

3.
Различия, проявляющиеся при интерпретации
измерительного инструмента разными
людьми. Это проблема возникает лишь в
том случае, когда люди прямо отвечают
на вопросы, а не тогда, когда исследователь
осуществляет измерения, наблюдая за
поведением. Если вопросы сформулированы
неоднозначно, то и респонденты дадут
им разные интерпретации, которые могут
привести к различиям в оценках по
измерениям, составленным на основании
этих вопросов. Предположим, например,
что, изучая поведение на выборах, мы
несколько легкомысленно задали вопрос:
“Вы принимали участие в последних
выборах?” Если кто-либо из интервьюируемых
не знает, что на прошлой неделе проводились
муниципальные выборы, он может ответить
да,
так как думает, что вопрос относится к
[c.96] последним
общенациональным выборам, хотя он и не
принимал участия в выборах, которые
подразумевались в наших вопросах.
Обезопасить себя от этих непредвиденных
различий в оценках наших измерений
можно с помощью предварительных вопросов
(см. гл. 6) и проверки измерений на
надежность.

4. Различия в условиях
проведения измерения. Этот источник
ошибок измерения также находится главным
образом в исследованиях, результаты
которых измеряются с помощью ответов
на вопросы. Например, в ходе выборочного
исследования надежно установлено, что
на характер ответов могут оказывать
влияние раса, пол и возраст интервьюера.
Ответы (а следовательно, и оценки на
шкалах) могут варьироваться от интервью
к интервью в зависимости от характеристик
самого интервьюера. Сходные проблемы
могут возникнуть не только в ходе
выборочного исследования. Например, мы
можем ошибочно осуществить контент-анализ
передачи последних известий, предназначенных
для внутреннего вещания, и передачи
последних известий, предназначенных
для зарубежного вещания. Мы в таком
случае будем применять один и тот же
инструмент в совершенно разных условиях
и на основе одного этого факта вправе
ожидать появления различий в оценках.
Избежать ошибки измерения такого рода
можно одним способом – прилагать все
усилия к тому, чтобы ситуации, в которых
осуществляются измерения, были
стандартизованы.

5.
Различия в процессе применения
измерительных инструментов. Приписываемые
объектам оценки могут различаться в
результате разнообразных ошибок,
возникающих при сборе и записи информации.
Интервьюеры могут неверно понять
инструкции и задавать вопросы не так,
как предполагал исследователь. Плохое
освещение может оказаться причиной
того, что респондент неправильно отметит
пункты анкеты. В самый ответственный
момент карандаш может сломаться, а в
авторучке кончиться чернила, так что
наблюдатели не сумеют зафиксировать
ключевые для группового взаимодействия
события. Из-за усталости кодировщик
может изменить или проигнорировать
инструкции по кодированию единиц в
контент-анализе. Все эти типы отклонений
в процессе применения измерительных
инструментов приводят к [c.97]
различиям в
оценках вне зависимости от каких бы то
ни было различий в реальных значениях
исследуемой переменной. Основной способ
борьбы с ошибками измерения (помимо
привлечения к работе надежных ассистентов)
– предварительная проверка инструментов
измерения. Пробный прогон поможет
вскрыть потенциальные “технические”
проблемы, возникающие при применении
данного инструмента (такие, как недостаток
места в кодовой форме для записи типовых
ответов), и человеческие факторы, которые
могут сказаться на результатах (например,
время, в течение которого наблюдатели
могут работать не утомляясь).

6.
Различия в обработке и анализе данных.
Прежде чем информация может быть
проанализирована, она должна подвергнуться
тщательной обработке. Часто информация
по нескольку раз меняет форму. Например,
интервьюеры могут зафиксировать ответы
на вопрос, записав каждое слово, сказанное
интервьюируемым. Впоследствии, при
кодировке ответов, эти письменные
фрагменты могут сокращаться, превращаясь
в одну-единственную цифру. Эта цифра
может быть зафиксирована в битах
магнитного диска или магнитной ленты.
На каждом из этих этапов анализ данных
становится все проще, однако с каждым
следующим этапом увеличивается
возможность ошибок, в результате которых
объекты начинают различаться по некоторой
переменной, в то время как на самом деле
они не различаются. Возможность таких
ошибок приводит к необходимости дважды
и трижды проверять данные при каждом
преобразовании и сохранять исходную
форму для последующей проверки.

7.
Различия в характере реакции индивидуумов
на форму измерительных инструментов.
Эта проблема приобретает важное значение
тогда, когда объектами анализа являются
люди. Измерительные инструменты могут
выступать в самых разнообразных формах
– это и устные интервью, и анкеты, которые
должен заполнить опрашиваемый, и
наблюдение подготовленного исследователя.
Различные формы предъявляют к людям –
объектам исследования разные требования.
Интервью, к примеру, требует умения
свободно говорить, анкета – читать и
писать. Если люди различаются с точки
зрения этих способностей, их оценки
могут различаться даже тогда, когда
люди [c.98] в
действительности сходны по той переменной,
которая операционализируется. Лучший
способ избежать ошибок измерения такого
типа – использовать более чем одну
форму измерения для операционализации
каждого понятия. Мы еще поговорим об
этом в разделе данной главы, посвященном
валидности.

Все
эти факторы могут привести к проникновению
в исследование ошибки измерения.
Различные ошибки, происходящие из семи
перечисленных источников, обычно
подразделяются на систематические
и случайные.Систематические
ошибки
– это ошибки, которые возникают из-за
путаницы переменных в реальном мире
(см. п. 1) или из-за особенностей самого
инструмента. Они появляются каждый раз,
когда используется данный инструмент,
и постоянно сопутствуют объектам и
исследованиям, в которых используется
одно и то же измерение. Постоянные ошибки
делают наши результаты невалидными в
том смысле, что различия (или сходства),
которые, как представляется, выявляют
наши измерения, не есть точные отражения
различий, которые мы, по нашему мнению,
измеряем. Случайные
ошибки
проявляются по-разному и обусловлены
преходящими характеристиками объектов,
ситуационными различиями в применении
инструмента, ошибками в проведении
измерения и обработке данных и другими
факторами. Они делают наши измерения
невалидными почти так же, как и
систематические ошибки. Кроме того,
случайные ошибки делают наши измерения
ненадежными
в том смысле, что проявление случайных
ошибок не дает возможности постоянно
получать одни и те же результаты при
использовании одного и того же измерения.

Как
же избежать столь разрушительного
воздействия на наши результаты ошибок
измерения, которое превращает наше
исследование в бесполезное или ошибочное?
Чтобы ответить на этот вопрос, необходимо
внимательно обсудить проблемы валидности
и надежности. [c.99]

Соседние файлы в папке Первоисточники

• #
• #
• #
• #
• #
• #
• #
• #
• #
• #
• #

Ошибка измерения

неточности в наблюдениях над действительностью; расхождения между действительностью и зарегистрированными результатами наблюдений над нею.

Источник: Социологический словарь проекта Socium

ИЗМЕРЕНИЯ ОШИБКИ

отличие рез-та измерения от истинного значения признака. Различают ошибки теоретич. и инструментальные, случайные и систематич. и т. п. Теоретич. ошибки — это ошибки, связанные с недостатками в теоретич. положениях, являющихся основой при разработке методики; инструментальные ошибки — ошибки, связанные с конкретным воплощением методологии (возможно, правильной) в процедуре и инструменте исследования. Случайные ошибки — это ошибки, подчиняющиеся статистич. закономерностям (как правило, они нормально распределены вокруг истинного значения признака), систематич. ошибки — односторонние (постоянные, систематич.) смещения измерения от истинного значения признака. Типология ошибок индуцирует типологию тех или иных характеристик социология, информации. Напр., отсутствие теоретич. ошибок наз. обоснованностью информации, отсутствие случайных инструментальных ошибок измерения — точностью, отсутствие систематич. ошибок — правильностью информации, а отсутствие ошибок отбора респондентов — репрезентативностью. В зависимости от типа ошибок используются те или иные методы их измерения и устранения. См. также: Измерение надежности социологической информации, Измерение обоснованности социологической информации, Измерение правильности социологической информации, Измерение точности социологической информации, Качество социологического исследования. В.И. Паниотто.

Источник: Российская социологическая энциклопедия

Понимание сути проблемы

Проблема измерения в социологии чрезвычайно актуальной как в методологическом, так и в практическом отношении, ведь измерения является главным компонентом, обеспечивающим качество социологического исследование. Если рассматривать измерения, как процедуру сравнения измеряемого объекта с некоторым эталоном, то в социологии, в отличие от, например, в естественных науках, не существует достаточно четких единиц измерения.

Кроме того, определения сущности измерения как перехода от абстрактных теоретических понятий к эмпирическим индикаторам, которые можно непосредственно наблюдать и фиксировать, затрагивают еще одну методологическую проблему социологии, которая касается обоснования такого перехода.

История проблемы

Первые предпосылки измерений были заложены во второй половине XIX век. Изначально данная процедура рассматривалась в рамках классического подхода, который опирался на предположение о непременном существовании единицы измерения.

В конце $XIX$ — начале $XX$ века внимание исследователей сосредоточилось на особенностях осуществления процедуры измерения в гуманитарных науках, объектом исследования которых были такие социальные феномены, которые не имели четкой единицы измерения.

Развитие идей С.Стивенса привел к созданию теории измерения, основывается на понятии шкалы и классификации шкал по уровню измерения. хотя подход американского исследователя стал чрезвычайно продуктивным для дальнейшего развития и совершенствования процедуры измерения, однако, несмотря на полипарадигмальний статус социологии как науки, существуют достаточно разные взгляды на понимание сущности этого понятия.

Известный американский социолог П.Лазарсфельд проблему измерения в социологии рассматривает через практику его ежедневного использования в повседневной жизни, основанной на идее ранжирования. Таким образом, понятие измерения он определяет как «поиск упорядоченной классификации». В случае, когда исследователь при изучении определенных социальных феноменов имеет дело с числами, применяется другое понятие — квантификация, которое имеет практически такое же значение, как и понятие измерения. Центральной проблемой квантификации в социальных науках является сложность и многоаспектность исследуемых объектов.

По В.А.Ядову измерения — это процедура, с помощью которой измеряемый объект сравнивается с некоторым эталоном и получает числовое выражение в определенном определенном масштабе или шкале.

В.И.Паниотто определяет понятие «измерения» как процедуру обозначения числами по определенным правилам признаков или свойств изучаемого объекта социологом, в результате чего исследователь в дальнейшем уже имеет дело не с множеством качественно различных характеристик объекта, а с совокупностью чисел, каждое из которых определенным образом отражает интенсивность проявления соответствующей характеристики.

Социологический индекс

Социологический индекс — это интегральный показатель, который конструируется путем логического и аналитического комбинирования эмпирических индикаторов. Индексы обычно используются в тех случаях, когда модель измерения предполагает, что определенная латентная переменная может быть измерена с помощью совокупности качественно однородных показателей. При построении индексов исследователь должен убедиться в существовании латентной переменной, которую необходимо измерить, а также в том, что наблюдаемые переменные для построения индекса подобраны правильно, то есть они соответствуют латентной характеристике объекта и действительно измеряют именно ее (валидность эмпирических индикаторов).

Выделяют несколько разновидностей социологических индексов:

• Индексы, полученные в результате применения формальных методов анализа данных (применение факторного анализа для измерения латентных переменных)
• Индексы, построенные на основе логических схем (логические индексы)
• Индивидуальные индексы;
• Совокупные;
• Аналитические.

Косвенное измерение, как переход от теоретического понятия к измерительному показателя, затрагивает также проблему обоснованного выбора эмпирических индикаторов сложных социальных явлений или процессов, которые не поддаются непосредственному (прямому) измерению.

Существует достаточно много методов оценки надежности и валидности косвенного измерения: ре-тест — определяется корреляцией между результатами повторных измерений, «расщепление пополам» — определяется согласованность индикаторов между собой на основе корреляции результатов одних и тех же респондентов по разным половинами шкалы, метод нескольких судей, метод параллельных панелей и т.д.

НАДЕЖНОСТЬ СОЦИОЛОГИЧЕСКОЙ ИНФОРМАЦИИ — характеристика качества эмпирических социологических данных. Существует два понимания Н.с.и. В западной традиции надежность понимается как воспроизводимость результатов исследования при повторном измерении. Информация считается качественной, если она является надежной и валидной. Более детальной является классификация характеристик качества социологической информации, разработанная в русскоязычной литературе. В их классификации Н.с.и. является наиболее общей характеристикой качества эмпирических данных, полученных в социологическом исследовании. Под надежной понимают информацию, в которой относительно отсутствуют ошибки. Точнее, надежная — это информация в которой, во-первых, отсутствуют неучтенные ошибки, т.е. ошибки, величину которых исследователь не в состоянии оценить, во-вторых, учтенные ошибки не превышают некоторой заданной исследователем величины. Напр., если ошибка репрезентативности при определении доли некоторого признака с вероятностью 0,95 не превышает 5%, а исследователь намерен экстраполировать данные выборки на генеральную совокупность лишь для случаев, когда разница данных значима (напр., превышает 10%), то для него эта информация является надежной; если же ставится задача изучения менее существенных различий (напр., в 4—6%), то информация является ненадежной.

Неопределенное в силу всеобщности понятие надежности конкретизируется путем перечисления ошибок, которые учтены в данном исследовании. В зависимости от типа учтенных ошибок информацию называют валидной, репрезентативной, точной и правильной (см. Качество социологического исследования), поэтому измерение надежности сводится к измерению указанных характеристик социологической информации. Следует отметить, что между способом измерения и типом ошибок нет однозначной связи — один тип ошибки может измеряться разными способами, и один способ может использоваться для измерения ошибок разных типов (по крайней мере, исследователь

не всегда может установить, что именно измеряется — точность, правильность или валидность). Поэтому наряду с вышеназванными характеристиками надежности, полученными путем типологии учтенных ошибок измерения, целесообразно использовать типологию самих способов измерения (учета) ошибок, т.е. типологию способов контроля надежности эмпирических данных.

Различают две гр. способов контроля надежности: внешний контроль (сопоставление эмпирической информации в данном исследовании с какой-либо другой информацией) и внутренний контроль (изучение распределения признаков в данном исследовании).

А. Внешний контроль.

1. Контроль, внешний по отношению ко времени исследования, т.е. сопоставление результатов измерения в данном исследовании с результатами повторного измерения того же массива респондентов с тем же исследователем в тех же условиях с помощью того же инструмента и процедуры измерения (например, метод перепроверки, или test-retest).

2. Контроль, внешний по отношению к ситуации (условиям) исследования (например, сопоставление результатов опроса по производственной и территориальной выборке того же массива респондентов тем же исследователем с помощью того же инструмента исследования).

3. Контроль, внешний по отношению к инструменту и процедуре исследования (например, сопоставление данных опроса с реальным поведением респондентов (данные анализа документов, наблюдения и т.п.); сопоставление данных опроса с данными, полученными с помощью инструмента, который считается эквивалентным — метод эквивалентных форм).

4. Контроль, внешний по отношению к исследователю (напр., сопоставление данных опроса, полученных одним интервьюером, полученными на том же массиве в тот же период времени с использованием той же процедуры и инструмента исследования другим интервьюером).

5. Контроль, внешний по отношению к объекту исследования, т.е. сопоставление данных опроса с данными, полученными на др. объекте (применяется в случае, если в соответствии с целью исследования инструмент должен давать одинаковые показатели на разных объектах, как, например, при разработке теста умственных способностей независимого от тезауруса респондента: распределение тестовых оценок для различных образовательных групп должны совпадать).

В качестве показателя совпадения информации, полученной в данном исследовании, с какой-либо иной информацией при внешнем контроле используется обычно коэффициент корреляции; средняя арифметическая и средняя квадратическая ошибка; специальная мера, рассчитываемая как число респондентов, давших одинаковые ответы в двух исследованиях, нормированное числом всех опрошенных.

Б. Внутренний контроль.

1. Изучение распределения данного признака по всей выборке. Например, расчет репрезентативности (как функции от дисперсии и объема выборки); изучение формы распределения (выявление «неработающих» вопросов или градаций вопросов, наличие «выпадающих» значений и др.).

2. Сопоставление распределения различных признаков по всему массиву (например, метод расщепления (split-half), заключающийся в сопоставлении двух однородных гр. признаков в тестовых методиках; устранение «субъективных» погрешностей путем учета «личного уравнения» респондента).

3. Изучение распределения признаков в различных подвыборках (например, устранение влияния интервьюера с помощью метода Уорнера; дисперсионные критерии надежности).

См. также: Качество социологического исследования, Репрезентативность, Валидность (обоснованность) социологической информации, Точность (устойчивость) социологической информации, Правильность социологической информации.

В. И. Паниотто

Литература:

Волович В.И. Надежность информации в социол. иссл-и. Киев, 1974;

Докторов Б.З. О надежности измерения в социол. иссл-и. Л., 1979;

Саганенко Г.И. Социол. информация (стат. оценка надежности исходных данных социол. иссл-я.). Л., 1979;

Она же. Надежность рез-тов социол. иссл-я. Л., 1983;

Паниотто В.И. Кач-во социол. информации (методы оценки и процедуры обеспечения). Киев, 1986;

Ядов В.А. Стратегия социол. иссл-я. М., 2007.

Социологический словарь / отв. ред. Г.В. Осипов, Л.Н. Москвичев. М, 2014, с. 270-272.