Способы получения экспертных оценок и пути повышения их

Точности

Эксперты, оценивающие количественно уровень профессиональной эффективности работников, используют балльные шкалы (с градацией шкал от 5 до 7). Если градаций меньше 5, то возникают трудности в различении работников по успешности; если градаций больше 7 — возникают трудности в работе экспертов, снижающие точность оценок. Наряду с дискретными балльными шкалами используют также графические шкалы, когда эксперт имеет возможность выбрать плавную, непрерывную оценку оцениваемого феномена.

Разработаны технологии работы экспертов, повышающие точность их оценок. К ним относятся шкалы рейтинга поведения и шкалы наблюдения за поведением.

Разработка шкал рейтинга поведения включает следующие этапы:

1) выявление профессиональных задач и ситуаций (в процессе
психологического анализа профессии);

2) описание форм поведения, характеризующихся как хоро-
шее, среднее или плохое выполнение данной работы;

3) присвоение численных показателей в порядке уменьшения
значения (10 — отличное поведение, 1 — очень плохое) конкрет-
ным формам поведения;

4) устранение тех форм поведения, по поводу которых у экс-
пертов возникает много разногласий;

5) упорядочение шкалы поведения таким образом, чтобы она
отражала весь значимый спектр поведения (Купер Д., Робертсон А.,
2003, с. 58).

При разработке шкал учитывается мера согласия экспертов в отнесении данного утверждения к разным категориям. Для 7-балльных шкал разность между квартилями распределения не должна превышать 1,5 балла (для 9-балльной шкалы — 2 баллов).

Квартилем называют границу на шкале измеряемого свойства, отделяющую 25 % испытуемых от выборки стандартизации. Выделяют три разновидности квартилей: Qi — первые 25 %; Q₂ — 50 % (медиана); СЬ— 75 %) (Основы психодиагностики..., 1996, с. 484).

Когда шкала оценки поведения подготовлена, эксперты по ней отмечают утверждения, которые правильно характеризуют данного субъекта. Затем балльные оценки по совокупности суждений суммируют и получают показатель профессиональной успешности.

Шкалы наблюдения за поведением строятся на основе метода наблюдения и последующего ранжирования работников по степени их профессиональной успешности (пригодности). Порядок работы:

1) составляется список группы по алфавиту;

2) выбирают субъекта с максимальной эффективностью и при-
сваивают ему ранг 1, его фамилию вычеркивают и заносят в но
вый список;

3) выбирают субъекта с минимальной эффективностью (ранг = п,
где п — число лиц в группе), его фамилия вычеркивается;

4) из оставшихся выбирают субъекта с максимальной эффек-
тивностью, присваивают ему ранг 2 и т.д.

Процедура продолжается, пока не будут проранжированы все, и, таким образом, все члены рабочей группы оказываются оценены по эффективности.

Используется также способ ранжирования работников по эффективности методом парных сравнений. При этом каждый субъект сравнивается с каждым другим, входящим в группу, и указывается, кто из них имеет большую профессиональную эффективность (пригодность). Далее подсчитывается число пар, в которых было отмечено преобладание данного субъекта и по этому показателю ему присваивается ранг.

n (n-1)

N (число пар сравнения) =

где n — численность группы.

Типичные ошибки экспертов:

эффект ореола, человеку, получившему высокую оценку по какому-либо параметру, присваивают и далее (уже незаслуженно) высокие оценки по другим параметрам;

эффект снисходительности: эксперт склонен всегда давать завышенные оценки;

ошибка центральной тенденции: эксперт предпочитает исполь-зовать средние оценки, избегая крайних показателей;

эффект контраста: эксперты оценивают не показатели компе-тентности человека (по отношению к некоторому установленному требуемому уровню), а показатели оцениваемого человека по отношению к окружающим его людям (Купер Д., Робертсон А., 2003).

Для повышения точности работы экспертов их следует специально подбирать (учитывая их компетентность), обучать, по возможности четко и однозначно определять особенности субъекта, подлежащие оценке, учитывать мнение не одного, а нескольких экспертов, оценивать всю группу работников поочередно по каждому свойству, а не по всем свойствам сразу (Кулагин Б. В., 1984).

Не нашли, что искали? Воспользуйтесь поиском: