© 2017 ЭКОПСИ Консалтинг
 
Получите консультацию специалиста
Неэффективный центр оценки глазами наблюдателей и участников
Центр оценки (ЦО) известен среди оценщиков как самый точный метод измерения потенциальной успешности. Последние исследования показывают, что ЦО эффективнее тестов способностей в оценке менеджерского потенциала (Sackett, Shewach, & Keiser, 2017). За счёт своей комплексности и оценки именно поведения – ЦО воспринимается как валидный инструмент и самими участниками (Anderson, Salgado, & Hülsheger, 2010). Всё это делает ЦО широко используемым – в российской практике его применяет 81% компаний (Центр оценки: современная практика применения в России, 2014). Для оценки потенциала ЦО используют 56% российских компаний и 30% зарубежных (Оценка потенциала в российских организациях, 2016; Church & Rotolo, 2015).

ЦО – метод оценки, наиболее приближенный к реальному поведению, к организационной жизни участника. Но по ЦО до сих нет обзора проблем и слабых сторон ЦО, как их видят участники процесса – наблюдатели и сами оцениваемые. Все текущие обзоры далеки от "полевой" оценки и посвящены, в основном, проблеме конструктной валидности ЦО (которая, на самом деле, проблема конструктной валидности компетенций, о чём мы расскажем в отдельной статье). Для восполнения данного пробела мы делимся с вами результатами одного очень интересного исследования.

Британские исследователи провели опрос, посвящённый слабым сторонам центров оценки (ЦО). В опросе приняли участие разработчики ЦО (25 чел.), наблюдатели (95 чел.) и сами участники (64 чел.). Их просили выбрать из списка проблемы, часто или всегда присутствующие в практике ЦО.
1
Разработчики ЦО видят основные проблемы в подготовке и работе наблюдателей:
— Наблюдатели вынуждены работать "на износ" (38% – здесь и далее приведён процент людей, указавших это проблему как часто или всегда присутствующую).
— Наблюдатели не имеют возможности ознакомиться с упражнениями до самой оценки (25%).
— Наблюдатели имеют слишком мало времени для подготовки к ЦО, их приглашают "в последнюю минуту" (23%).
2
Наблюдатели описывают две группы проблем – связанные с процедурой оценки и с сессиями, на которых они сводят оценки:
2.1
Процедура оценки:
— Участники проходят упражнения в разном порядке (66%). Это делает процедуру ЦО несправедливой – часть участников могут сначала пройти более трудные упражнения, другая часть – более лёгкие. В результате на них влияют эффекты усталости и научения.
— Какая-либо компетенция оценивается в ЦО один раз вместо необходимых двух (53%).
— Наблюдатели имеют слишком мало времени для наблюдения за участниками и выставления им оценок (49%).
2.2
Сведение оценок:
— Сведение проводится слишком быстро из-за дефицита времени (51%).
— Участникам, которые рассматриваются в начале сведения, уделяется больше времени (42%).
— Сведение превращается в непродуктивную дискуссию (40%).
3
Участники связывают основные проблемы с недостатком информации до или после оценки:
— Отсутствие понятного описания, как на основе упражнений будут выставляться оценки (55%).
Важно: Мы рекомендуем объяснять участникам механизм получения оценки (поведение, которое может к ней привести) в сессии обратной связи. Подробное объяснение этого ДО оценки может снизить точность ЦО. Исследования показывают, что большей валидностью обладают упражнения, помещающие человека в ситуацию неопределённости. Слишком "прозрачная" оценка, наоборот, имеет более низкую валидность.
— Низкое качество обратной связи по результатам (51%).
— Плохо разработанная оценка в целом (34%).
Все описанные проблемы можно объединить в 2 группы.
К первой группе относится то, что внешне маркируется как дефицит времени – на подготовку, оценку, сведение. Наблюдатели попадают в слишком сжатые сроки. Один из вариантов решения проблемы – автоматизация и стандартизация центров оценки. Это касается, в первую очередь, этапа проведения и заключается в следующих пунктах:
1. Автоматизация упражнений типа ин-баскета (проведение в компьютеризированным виде с автоматической обработкой).
2. Осуществление наблюдения через электронные чек-листы.
3. Статистическое сведение оценок – обсуждение только существенных расхождений в оценках наблюдателей по одному участнику.
4. Создание отчётов на основе шаблонов.
Можно порекомендовать настроить коммуникацию с коллегами, ответственными за планирование оценки. Подробное описание этапов и сроков проведения эффективного ЦО поможет сформировать лучшее представление о процедуре и далее более оптимально её спланировать. Также можно рассмотреть расширение пула оценщиков или привлечение консалтинговой компании. Большее количество наблюдателей позволит уделить больше времени каждому отдельному ЦО.
Интересно: О решении проблемы численности наблюдателей вы можете прочесть в статье "Внутренний центр оценки: проблемы и решения".
Во вторую группу входят нарушения базовых принципов ЦО:
— Оценка какой-либо компетенции в менее чем двух упражнениях.
— Недостаток информирования участников.
Требования к центру оценки и базовые принципы его проведения описаны в Российском стандарте центра оценки. В частности, каждая компетенция должна оцениваться минимум в двух упражнениях. Участники должны быть проинформированы о критериях отборах; по результатам им должна быть предоставлена устная обратная связь с описанием примеров поведения и сделанных выводов.
Источники
Статья с описанием исследования
Dewberry, C., & Jackson, D. J. (2016). The perceived nature and incidence of dysfunctional assessment center features and processes. International Journal of Selection and Assessment, 24(2), 189-196.

Валидность ЦО и тестов способностей
1. Anderson, N., Salgado, J. F., & Hülsheger, U. R. (2010). Applicant Reactions in Selection: Comprehensive meta‐analysis into reaction generalization versus situational specificity. International Journal of Selection and Assessment, 18(3), 291-304.
2. Sackett, P. R., Shewach, O. R., & Keiser, H. N. (2017). Assessment centers versus cognitive ability tests: Challenging the conventional wisdom on criterion-related validity. Journal of Applied Psychology, 102(10), 1435.

Опросы практики применения ЦО
1. Центр оценки: современная практика применения в России (2014). URL: http://hrdevelopment.ru/federations/f_assess/report2014.pdf
2. Hughes, D., Riley, P., Shalfrooshan, A., Gibbons, F., & Thornton, G. (2012). A Global Survey of Assessment Centre Practices. A Research Report by A&DC and Colorado State University. URL: https://www.adc.uk.com/resources/research/findings/
3. Оценка потенциала в российских организациях (2016). URL: http://www.ecopsy.ru/publikatsii/ru-otchet-po-rezu...
4. Church, A. H., & Rotolo, C. T. (2013). How are top companies assessing their high-potentials and senior executives? A talent management benchmark study. Consulting Psychology Journal: Practice and Research, 65(3), 199-223.

Исследования уровня прозрачности и неопределённости в упражнениях центра оценки
1. Hoffman, B. J., Kennedy, C. L., LoPilato, A. C., Monahan, E. L., & Lance, C. E. (2015). A review of the content, criterion-related, and construct-related validity of assessment center exercises. Journal of Applied Psychology, 100 (4), 1143.
2. Ingold, P. V., Kleinmann, M., König, C. J., & Melchers, K. G. (2016). Transparency of assessment centers: lower criterion‐related validity but greater opportunity to perform?. Personnel Psychology, 69 (2), 467-497.
Авторы статьи
Юрий Шатров
Руководитель практики развития оценочных технологий

shatrov@ecopsy.ru
facebook.com/lopecgo
Павел Дегтярёв
Консультант центра анализа данных

degtyariov@ecopsy.ru
facebook.com/pdegtyariov