Глава 2. Применение методов экспертного опроса на практике.

2.1 Область применения.

Экспертный опрос наряду с традиционными методами сбора информации может широко применяться и в других областях социологических исследований. Так, например, В.З. Докторов справедливо указывает, что использование данного приема весьма эффективно при изучении общественного мнения.

Чем обусловлено обращение к экспертам? Заключения специалистов, связанных в силу своей повседневной профессиональной деятельности с изучением состояния и динамики общественного мнения могут дать надежную и точную картину, не уступающую по своей достоверности массовым опросам.

Поскольку общественное мнение всегда предметно, поскольку в нем всегда содержится отношение к той или иной проблеме. Поэтому статусом эксперта могут быть (при известных ограничениях) наделены, во-первых, специалисты, занимающиеся исследованием различных аспектов этой проблемы, во-вторых, представители социальных институтов, призванных решать ее в интересах всего общества и, в-третьих, лица, ответственные за формирование общественного мнения по данной социальной проблематике.

Экспертные методы были использованы в исследовании актуальных проблем внутри театрального управления в связи с проведением комплексного социального эксперимента по перестройке театрального дела. Прежде чем приступить к нововведениям, группе исследователей было поручено изучить мнения руководителей театров Москвы, входящих в систему Министерства культуры РФ. Целью опроса было выяснить, что именно и каким образом они хотели бы усовершенствовать.

На этом этапе исследования осуществляется обработка информации - сложная, трудоемкая и зачастую дорогостоящая процедура. Большое значение имеет определение оптимальной стратегии обработки. Как проверить гипотезы, с помощью каких статистических методов? Какие статистические показатели и критерии следует применить в каждом конкретном случае? Ответить на эти вопросы исследователь должен раньше, чем массив информации будет переведен на машинные носители и введен в компьютер. Строго говоря, стратегия обработки данных, хотя бы в общих чертах, должна быть ясна еще во время подготовки процедурной части программы, так как характер методических документов, применяемые в них шкалы самым непосредственным образом связаны с методами обработки собранной с их помощью информации. Участие экспертов в определении путей решения этой задачи должно оказаться чрезвычайно полезным, однако пока наша социологическая практика таким опытом не располагает. Можно лишь предположить, что наиболее эффективным в данном случае очные методы опроса экспертов, особенно прямая мозговая атака и обмен мнениями.

На этапе ручной обработки и кодирования возможностей использования эксперта гораздо меньше. Но и здесь следует обращаться к специалистам, например, при выборе способа кодирования или в спорных случаях, когда вероятна различная интерпретация записей, содержащихся в методических документах. Форма опросов экспертов в этом случае - свободное интервью и в отдельных случаях "обмен мнениями".

Завершающий этап исследований - анализ результатов. Он начинается с проверки гипотез: подтвердились ли они эмпирическими данными. Иногда для этого достаточно просмотреть соответствующие таблицы, отпечатанные на компьютере. Так бывает в случае четкого соответствия гипотез, методических документов и стратегии обработки, что в социологической практике пока встречается редко. Чаще полученные данные допускают различные толкования, поэтому вопрос о подтверждении или опровержении гипотезы оказывается совсем не простым. Его можно решить с помощью экспертов. Наиболее пригоден здесь метод "обмена мнениями" ("отнесенной оценки").

Затем следует интерпретация результатов оценки гипотез. Вспомним, что гипотезы формулировались в терминах эмпирического следования, следовательно, нужно перевести результаты их проверки на язык теории. В программе присутствует концептуальная модель предмета исследования. Теперь настало время решить, что в этой модели соответствует эмпирической действительности, что - нет, в каких направлениях надо ее развить, дополнить, в каких пересмотреть, а то и вовсе сократить. Эта работа может быть эффективно проведена с помощью экспертов. Наиболее подходящими здесь представляются методы очного опроса: "мозговая атака" и "обмен мнениями".

Параллельно с интерпретацией результатов разрабатывается прогноз, даже если перед исследованием не стоят специально прогностические задачи. На этом этапе могут быть использованы практически все экспертные методы. Наиболее подходящими для социологического прогнозирования являются "стимулирование наблюдения", формализованный опрос, шкалированные оценки, "метод Дельфи".

Анализ информации, а с ним и все исследование, завершается формулированием выводов и рекомендаций. Нужно определить, выполнены ли поставленные перед исследованием задачи и насколько полно, какие из них решены, а какие нет, рассмотреть причины, по которым некоторые задачи остались нерешенными. Необходимо показать, какой вклад исследование внесло в теорию изучавшейся проблемы и в поиск путей ее практического решения, сформулировать практические рекомендации по управлению изучавшимися социальными процессами.

На заключительном этапе работы привлечение экспертов более чем оправдано. При этом желательно более широкое включение в ее состав экспертов практических работников, хорошо знакомых с конкретными условиями внедрения рекомендаций. Наиболее приемлемой формой работы в данном случае является опрос экспертов по методу коллективной генерации идей. Для уточнения полученных таким путем рекомендаций может также использоваться опрос экспертов методом комиссии.

Итак, экспертный опрос представляет собой важнейшее подразделение опросного метода. Его отличительные черты касаются задач, для решения которых он используется, функций выполняемых в социологическом исследовании, технических и методических приемов подготовки инструментария и проведения опроса, кодировки вопросов, включения получаемой информации в схему обработки и анализа, постановки проблемы достоверности и репрезентативности и т.п.

Выбор экспертов.

Для отбора экспертов необходимо, во-первых, сформулировать критерии отбора (ответить на вопрос "Кто может выступать в качестве эксперта по данной проблеме?"), во-вторых, определить процедуры отбора (ответить на вопрос "Как установить соответствие эксперта необходимым требованиям?"). В качестве основных критериев отбора можно назвать следующие:

1. Уровень компетентности эксперта в данной предметной области, показателями которого в совокупности являются:

- уровень и профиль образования,

- профиль работы (связь с данной предметной областью),

- опыт работы по профилю (общий стаж работы по профилю и стаж работы непосредственно в данной предметной области),

- уровень решаемых проблем (соответствие занимаемой должности характеру и уровню возникшей проблемы),

- количество и качество ранее выполненных экспертиз, например, сбывшиеся прогнозы.

2. Степень объективности и беспристрастности эксперта при анализе и оценке явлений в данной предметной области (незаинтересованность эксперта в принятии определенного решения).

3. Умение работать в команде (это особенно важно для группового экспертного опроса), т.е.:

- коммуникативные навыки,

- способность к совместному творчеству,

- гибкость ума и "незашоренность" взгляда,

- нонконформизм.

При оценивании экспертов по названным критериям и выборе экспертов могут использоваться следующие процедуры:

1. Самооценка экспертов по объективным параметрам.

2. Взаимная оценка экспертов.

3. Оценка экспертов независимыми специалистами.

4. Оценка уровня компетентности экспертов с учетом качества ранее проведенных экспертиз (данная оценка производится самой исследовательской командой на основе анализа ретроспективных данных о работе эксперта).

Наиболее предпочтительным является отбор экспертов на основе независимой квалифицированной оценки с поправкой на качество ранее сделанных экспертиз.

Организация взаимодействия экспертов.

Организация взаимодействия экспертов с исследователями зависит от выбранного метода сбора экспертной информации. Методы экспертизы в этом контексте могут быть классифицированы следующим образом:

- индивидуальные методы экспертизы,

- групповые методы экспертизы.

Экспертные методы, относящиеся к первой группе, предполагают индивидуальную работу исследователей с каждым из привлеченных экспертов. При этом может быть задействован и один эксперт, если его квалификации достаточно для снятия информационной неопределенности по проблеме, однако обычно привлекают несколько экспертов для повышения надежности экспертизы.

При проведении экспертного метода возможно использование как одного из названных методов, так и различных их сочетаний, что имеет смысл, если обсуждаемая проблема слишком сложна. Например, возможно следующее сочетание экспертных процедур:

1. Коллективный блокнот - ознакомление экспертов с проблемой, индивидуальное размышление над проблемой и подготовка экспертов к групповому обсуждению.

2. Групповое обсуждение (фокусирование, мозговой штурм и т.п.) - совместное изучение проблемы, выдвижение и рассмотрение гипотез, выбор наиболее приемлемой гипотезы.

3. Опрос по методу Дельфи - оценивание явления в рамках выбранной гипотезы.

3.2. Обработка информации.

Информация, полученная в процессе экспертного опроса, не является готовой экспертизой, она должна быть обработана, систематизирована, оценена с точки зрения качества, подвергнута анализу и целенаправленной интерпретации, и лишь после этого ее можно рассматривать как решение поставленной задачи. Качество экспертной информации в принципе можно повысить, если использовать групповые экспертные опросы в несколько туров (особенно с обоснованием мнений), которые позволяют постепенно сблизить оценки экспертов, уточнить и дополнить мнения. Считается, что достоверность экспертных оценок тем выше, чем меньше разброс мнений, что может быть определено путем вычисления среднеквадратичного отклонения. Можно определить достоверность оценок косвенно, исходя из устойчивости мнений экспертов. Если оценки экспертов резко меняются от одного тура к другому, то достоверность таких оценок невелика.

Одним из наиболее ответственных этапов обработки собранной информации является согласование экспертных мнений, что может быть сделано на основе одного из следующих правил:

- правило большинства - выбирается та оценка явления или то решение задачи, которых придерживается большинство экспертов (однако, надо заметить, нередки ситуации, когда эксперты, дающие более достоверные оценки, оказываются в меньшинстве);

- правило авторитета - выбирается то решение, к которому склоняются самые авторитетные эксперты (в этом случае каждому эксперту должен быть приписан "вес", учитывающий его уровень компетентности);

- правило средней оценки - мнения экспертов приводятся к некому общему знаменателю. Для количественных оценок это сделать достаточно просто: определяется либо простая, либо взвешенная средняя оценка, для качественной информации такое согласование более сложно. При согласовании количественных оценок также может использоваться отбрасывание наименьшей и наибольшей оценок и усреднение оставшихся.

При согласовании экспертных мнений и выработке окончательной экспертизы важно соблюсти следующие требования: системность и взаимная непротиворечивость параметров экспертизы, обоснованность и логичность выводов, полнота решения поставленной задачи. Соблюдение этих требований и обеспечивает высокое качество экспертизы при условии, естественно, соответствующей компетентности экспертов.

В целом надежность сформированной экспертизы определяется двумя основными факторами. Во-первых, квалификацией экспертов, их способностью к решению задач данного уровня сложности. Во-вторых, квалификацией исследовательской команды, ее способностью отобрать компетентных экспертов, "извлечь" и аккумулировать экспертные знания о проблеме.

Вывод.

Методы экспертного опроса имеют как несомненные достоинства, так и достаточно ощутимые "узкие места". Среди достоинств, следует особенно подчеркнуть возможность получения уникальной информации, которая не может быть почерпнута ни из каких других источников. Проблемы же экспертных опросов заключаются в следующем:

1. Сложность организации экспертизы: отбора экспертов в достаточном количестве и "качестве" и проведения опроса.

2. Сложность формирования окончательной экспертизы: согласования полученных данных, их анализа и интерпретации.

3. Возможная субъективность экспертов: эксперты могут находиться в плену своих представлений и неохотно пересматривать свою точку зрения, даже если она неправильная.

4. Возможное влияние на результат выбранной формы проведения экспертного опроса (при открытом опросе высока опасность конформизма).

5. Высокая стоимость проведения опроса, т.к. высока как оплата труда экспертов, так и расходы на организацию, и проведение экспертизы.

В связи с дороговизной и сложностью проведения экспертного опроса выбор этого метода должен быть строго оправданным. Имеет смысл привлекать экспертов только для решения нетривиальных масштабных задач, для которых требуется получение независимой, объективной оценки ситуации, а также для выработки решений, которые не могут быть получены никаким другим способом.

Список литературы.

1. Архангельский Н.Е., Валуев С.А.Экспертные оценки и методология их использования.-1974.

2. Анохин А.Н. Методы экспертных оценок – 1996.

3. А. В. Кочеткова, В. Н. Филиппов и др. Теория и практика связей с общественностью

4. Батыгин Г.С. Опыт построения типологии социальных показателей образа жизни. Социологические исследовании. – 1977.

5. Головин Е.Е. Экспертный методы опроса – 1985.

6. Добров Г.М., Ершов Ю.В. и др. Экспертные оценки в научно-техническом прогнозировании. – 1974.

7. Б.З. Экспертный опрос как метод изучения общественного мнения. – 1975.

8. Дружинин Г.В. Методы оценки и прогнозирования качества. – 1982.

9. Прогнозирование социальных потребностей молодежи.

10. Чумиков, М. П. Бочаров. Актуальные связи с общественностью. Сфера, генезис, технологии, области применения, структуры.

Не нашли, что искали? Воспользуйтесь поиском: