© 2017 ЭКОПСИ Консалтинг
 
Получите консультацию специалиста
Как сделать центр оценки эффективным: научный взгляд
Мы решили написать, как же сделать центр оценки более эффективным. И сделаем это с опорой на научные исследования. Поэтому данный текст - дополнение к Стандарту центра оценки, который содержит основные правила проведения ЦО.
Компетенции
1
Оценивайте до 6 компетенций в одном центр оценки.
Чем больше компетенций - тем сильнее они смешиваются друг с другом. Во-первых, на практике они начинают повторять друг друга. В теории, в виде прописанных индикаторов, они действительно различаются. Но в наблюдаемом поведении они становятся сложно различаемыми. Пример - индикаторы на (а) анализ плюсов и минусов решения (компетенция "системное мышление"); (б) анализ рисков и возможностей в ситуации (компетенция "стратегическое мышление"). В теории можно описать их различия, но на практике, в поведении человека, они смешиваются. Сложно точно сказать, "эта фраза" участника следует из его системного мышления, или из стратегического.

Во-вторых, наблюдатели тоже начинают смешивать компетенции, так как не всегда могут удержать во внимании сразу много элементов. В итоге они упрощают все компетенции до двух-трёх элементов.
Источники
1. Jackson, D. J. R., & Kim, Y. (2013, November). How many are really enough? Determining an appropriate number of exercises and dimensions using decision studies. Paper presented at The UK Assessment Centre Conference; Leading Edge Science & Practice, Croydon, England.
2. Woehr, D. J., & Arthur, W. Jr (2003). The construct-related validity of assessment center ratings: A review and meta-analysis of the role of methodological factors. Journal of Management, 29, 231-258.
2
Оценивайте компетенции, лучше всего связанные с эффективностью в работе:
– Организация и планирование.
– Анализ и решение задач.
– Ориентация на результат.
– Понимание и влияние.
– Стрессоустойчивость.
– Работа в команде.
Остальные компетенции либо не связаны с эффективностью в работе, либо опросники и тесты оценивают их намного более точно. К примеру, Адаптивность и Обучаемость эффективнее измеряется именно психометрическими инструментами – такими как тест Potential in Focus.
Наблюдатели
1
Привлекайте в наблюдатели и психологов, и людей из бизнеса.
– Психологи привыкли ставить человека в центр своего внимания. Поэтому их оценки более согласованы (они одинаково понимают компетенции и наблюдаемое поведение), что в итоге повышает точность.
– Люди из бизнеса лучше понимают, какое поведение эффективно в организационном контексте. Это также повышает точность оценки. В Европе распространена практика, когда в ЦО привлекаются наблюдатели из бизнеса – действующие менеджеры, прошедшие тренинг навыков наблюдения в ЦО. Также участие в ЦО позволяет менеджерам повысить их собственный уровень владениями компетенциями.
Если нет возможности привлечь менеджеров – делайте ставку на оценщиках с психологическим образованием. Они выставляют более точные оценки, чем люди без психологического бэкграунда.
Источники
1. Birri, R., & Melcher, A. (2011). Building a Talent for Talent. Assessment Centres and Global Talent Management, 175.
2. Lievens, F., Tett, R. P., & Schleicher, D. J. (2009). Assessment centers at the crossroads: Toward a reconceptualization of assessment center exercises. In Research in personnel and human resources management (pp. 99-152). Emerald Group Publishing Limited.
3. Wirz, A., Melchers, K. G., Lievens, F., De Corte, W., & Kleinmann, M. (2013). Trade-offs between assessor team size and assessor expertise in affecting rating accuracy in assessment centers. Journal of Work and Organizational Psychology, 29, 13-20.
2
Обучайте наблюдателей не только НОКО, но и в формате frame-of-reference.
НОКО – последовательность действий наблюдателя-эксперта в ходе проведения моделирующих упражнений. Состоит из четырех этапов: наблюдение (Н), описание (О), классификация (К) и оценка (О) поведения.

Стандарт центра оценки
В оценке распространены тренинги НОКО. Основная цель тренинга – научить наблюдателей фиксировать и оценивать именно поведение, а не свои субъективные суждения об участниках оценки. За рубежом также получили распространение т.н. frame-of-reference тренинги, или калибровочные тренинги. Их цель – создать у наблюдателей единое понимание (фрейм), какие компетенции оцениваются и как они проявляются в конкретных упражнениях. В ходе калибровочных тренингов наблюдатели просматривают все упражнения, какие индикаторы и каким образом в них проявляются, как их не перепутать.
В России калибровочные тренинги практически не проводятся. Тем не менее, они являются крайне эффективным дополнением к НОКО-тренингам.
Источники
1. Roch, S. G., Woehr, D. J., Mishra, V., & Kieszczynska, U. (2012). Rater training revisited: An updated meta‐analytic review of frame‐of‐reference training. Journal of Occupational and Organizational Psychology, 85(2), 370-395.
2. Schleicher, D. J., Day, D. V., Mayes, B. T., & Riggio, R. E. (2002). A new frame for frame-of-reference training: Enhancing the construct validity of assessment centers. Journal of Applied Psychology, 87(4), 735.
Процедура оценки
1
Строго следуйте правилу "Наблюдатель оценивает не более 2 участников в одном упражнении".
Перегруженность информацией – один из главных рисков для центра оценки.
Источники
1. Lievens, F. (1998). Factors which improve the construct validity of assessment centers: A review. International Journal of Selection and Assessment, 3, 141-152.
2. Melchers, K. G., Kleinmann, M. & Prinz, M. A. (2010). Do assessors have too much on their plates? The effects of simultaneously rating multiple assessment center candidates on rating quality. International Journal of Selection and Assessment, 18, 329-341.
3. Wirz, A., Melchers, K. G., Lievens, F., De Corte, W., & Kleinmann, M. (2013). Trade-offs between assessor team size and assessor expertise in affecting rating accuracy in assessment centers . Journal of Work and Organizational Psychology, 29(1), 13-20.
4. Woehr, D. J., & Arthur, W. Jr (2003). The construct-related validity of assessment center ratings: A review and meta-analysis of the role of methodological factors. Journal of Management, 29, 231-258.
2
Используйте статистическую процедуру сведения результатов, дополняя её экспертными наблюдениями.
В центре оценки всегда использовалась экспертная процедура сведения результатов. Наблюдатели обсуждали поведение участника в различных упражнениях и совместно выставляли итоговую оценку.
Но последние исследования показали, что статистическое сведение – более эффективная процедура. Наблюдатели усредняют свои оценки по разным компетенциям – получившаяся цифра и есть итоговый балл по центру оценки. Главное преимущество данной процедуры – на неё не влияет групповая динамика, которая возникает в процессе обсуждения результатов, и субъективность отдельных наблюдателей. Всё это повышает критериальную валидность итогового балла (его связь с результативностью) на 8%.

Тем не менее, ограничиться только статистическим сведением нельзя.
Важно: Опираться только на экспертное сведение оценок можно в двух случаях:
1. Если вы не уверены в высоком уровне разработки и подготовки центра оценки. Экспертиза наблюдателей может скомпенсировать недостатки дизайна ЦО.
2. Если вы проводите центры развития. В них особенно важна глубина оценки каждого участника - особенностей его поведения, типичных совершаемых ошибок.
Источники
1. Dewberry, C. (2016). Integrating Candidate Data: Consensus or Arithmetic?. Assessment Centres and Global Talent Management, 97.
2. Dilchert, S., & Ones, D. S. (2009). Assessment Center Dimensions: Individual differences correlates and meta‐analytic incremental validity. International Journal of Selection and Assessment, 17(3), 254-270.
3. Grove, W. M., Zald, D. H., Lebow, B. S., Snitz, B. E., & Nelson, C. (2000). Clinical versus mechanical prediction: a meta-analysis. Psychological assessment, 12(1), 19.
4. Kuncel, N. R., Klieger, D. M., Connelly, B. S., & Ones, D. S. (2013). Mechanical versus clinical data combination in selection and admissions decisions: A meta-analysis. Journal of Applied Psychology, 98(6), 1060-1072.
Моделирующие упражнения
1
Оценивайте до 3 компетенций в одном упражнении.
Если включить в одно упражнение больше компетенций – наблюдатели, с высокой вероятностью, всё равно "схлопнут" их до трёх. Это связано с пределами человеческого внимания: большинство людей способны удерживать в фокусе не больше трёх сложных элементов (которыми и являются компетенции, разбитые на индикаторы).
2
Дополняйте ЦО другими оценочными инструментами: интервью и психометрикой.
a. Интервью.
b. Психометрикой – тестам оценки потенциала (PIF), тестам способностей и личностные опросники.
3
Разрабатывайте и используйте упражнения, которые содержат в себе сложный контент, помещают участника в ситуацию неопределённости, требуют взаимодействия в другими, отражают рабочие процессы.
А. Сложность – необходимость анализа большого количества информации, построения или учёта долгосрочной стратегии компании.
Б. Неопределённость –
В. Необходимость взаимодействия –
Г. Соответствие рабочему контексту – упражнения включают в себя отраслевую специфику компании; действия, которые участнику необходимо совершать в ЦО, соответствуют его действиям в работе.
Важно: Требование использовать упражнения, содержательно учитывающие отраслевую специфику компании, справедливо в двух условиях:
1. Использование ЦО на внутренних сотрудниках. Если использовать такие упражнения в ЦО на внешнем найме – преимущество получат кандидаты, знакомые с отраслевой спецификой компании. Оценка будет зависеть от знаний и опыта, а не способностей и
2. Высокий уровень отраслевой экспертизы наблюдателей. Только в этом случае они смогут понять ошибки и правильные действия участников.
Источники
1. Hoffman, B. J., Kennedy, C. L., LoPilato, A. C., Monahan, E. L., & Lance, C. E. (2015). A review of the content, criterion-related, and construct-related validity of assessment center exercises. Journal of Applied Psychology, 100 (4), 1143.
2. Ingold, P. V., Kleinmann, M., König, C. J., & Melchers, K. G. (2016). Transparency of assessment centers: lower criterion‐related validity but greater opportunity to perform?. Personnel Psychology, 69 (2), 467-497.
4
Стандартизируйте поведение наблюдателей в ролевой игре.
Эксперты ЭКОПСИ готовы
Авторы
Юрий Шатров
Founder & Art Director
Павел Дегтярёв
Customers Support
Анастасия Архипова
Design Director