Прививка диджитала: что делать с оценкой персонала в коронавирусный кризис?

COVID-19 вместе с нарастающим экономическим кризисом создаёт условия, с которыми мир ранее не сталкивался. Страны изолируются, рынки застывают, вводятся новые методы контроля населения. Всё это видоизменяет и HR: бюджеты сокращаются, найм ограничивается, практически весь персонал переводится на удалёнку.

В этой статье мы даём семь рекомендаций, как ответить на эти вызовы в оценке персонала.

Юрий Шатров
Руководитель
практики Digital Assessment ЭКОПСИ

shatrov@ecopsy.ru
facebook.com/lopecgo
1. Обратите внимание на дистанционные инструменты — альтернативы пока нет
По сравнению с очными инструментами они более дёшевы и могут проводится дистанционно.
Тесты и опросники
Оценят способности и склонности участников к работе в условиях изменений. Особенно актуальны тесты потенциала и опросники деструкторов.

Скачать каталог тестов и опросников ЭКОПСИ
Виртуальные центры оценки
Переведут кейсы и упражнения в дистанционный формат. Оценят компетенции и знания участников.

— Читать статью «Как перевести ассессмент в дистанционный формат»
— Смотреть вебинар «Web@ssessment. Дистанционный центр оценки»
Кейс-тесты
Оценят компетенции и ценности сотрудников. Воспринимаются участниками более позитивно, чем опросники.

Читать руководство по разработке кейс-тестов
Опросы и чат-боты
Оценят эффективность группового взаимодействия и удовлетворённость условиями удалённой работы.

Смотреть вебинар «Пульс-мониторинг сотрудников в условиях неопределённости»
2. Оценивайте критерии, которые важны в ситуации кризиса и изменений
В текущей ситуации необходимо оценивать две группы критериев:
1
Потенциал и деструкторы: спрогнозируют эффективность человека в новых (непредсказуемых и стрессовых) условиях
Мы попали в мир, которым консультанты нас долго пугали в своих презентациях, — VUCA-мир. Сложно с точностью предсказать, чем закончится ситуация с вирусом и какая будет рыночная ситуация в стране через полгода. Поэтому необходимо оценивать критерии, которые влияют на поведение не только сейчас (навыки и знания), но и в средне- и долгосрочной перспективе.
Составляющие потенциала, наиболее важные в ситуации кризиса (на примере PiF)
Мотивация к развитию. Человек будет обучаться новому, продолжит развиваться в своей профессиональной деятельности. (Также важна шкала «Адаптивность» из экспертного отчёта PiF).
Мотивация к лидерству. Человек будет брать на себя лидерство вопреки возрастающим издержкам и возможному снижению оклада.
Шкалы блока «Драйв». Человек будет активным и энергичным в период замедления рынка, возрастания уровня неопределённости и тревоги.
Деструкторы, наиболее критичные в ситуации кризиса (на примере DPI)
— Безынициативность. Человек будет быстро опускать руки и начнёт ожидать от других решения его проблем.
— Независимость. Человек будет выключаться из работы команды, замыкать решение задач на себе, принимать единоличные решения.
— Эмоциональность. Человек будет чувствительно реагировать на происходящие события, не будет управлять своими негативными эмоциями.
2
Управленческие компетенции и практики: поддержат повседневную эффективность сотрудников
Удалённая работа требует от руководителей большего внимания к сотруднику. Цикл управления исполнения сжимается с недель и месяцев до дней, сотрудники нуждаются в большей эмоциональной поддержке, коммуникация должна быть более быстрой и чёткой. Поэтому необходимо оценивать и давать обратную связь по управленческим компетенциям и практикам. Для оценки компетенций подойдёт практически любая модель, которая показывает эффективность в Вашей компании, а практики регулярного менеджмента должны быть разработаны с учётом специфики Вашей компании и её отдельных бизнесов.
3. Стандартизируйте оценку — с дефицитом очных инструментов это единственный способ сохранить её точность
В дистанционном формате оценщик получает намного меньше информации об участнике, они оба стеснены в способах самовыражения. Уже невозможно дать всё на откуп эксперту в ожидании, что он сумеет оценить всё своим глубоким взглядом. Поэтому необходимо стандартизировать процессы оценки — привести их к единым стандартам.
Начать нужно с оценочных критериевобеспечить всех оценщиков единым пониманием компетенций, ценностей, навыков. В этом помогут калибровочные тренинги (или frame-of-reference training, FOR). В ходе калибровочных тренингов оценщики подробно рассматривают все критерии и их индикаторы, обсуждают, как они проявляются в поведении. Крайне эффективно отрабатывать понимание критериев на практике. Оценщики просматривают видеозапись с поведением участника в ходе упражнений (если происходит обучение центру оценки), или знакомятся с текстовым описанием его действий в рабочих ситуациях (180 / 360 градусов). Далее они самостоятельно оценивают «ролевых» участников — и сверяют свои оценки с правильными ответами. Дополнительно в ходе обучения необходимо описать основные искажения, которые возникают в ходе оценки: ореола, первого впечатления, личностного подобия.
Влияние калибровочных тренингов на точность разных инструментов оценки (выберите инструмент)
Интервью
Центр оценки
*Согласованность отражает, насколько «одинаковые» оценки дают эксперты в отношении одного участника. Чем выше согласованность — тем лучше.
**Валидность — связь оценок интервьюеров по оцениваемым критериям с оценками экспертов.
*Согласованность отражает, насколько «одинаковые» оценки дают эксперты в отношении одного участника. Чем выше согласованность — тем лучше.
**Валидность — связь результатов интервью с эффективностью участников.
Далее стандартизируйте сами процедуры оценки. Например, чем стандартизированнее интервью — тем оно точнее. Есть три уровня стандартизированности интервью (по Huffcutt, Culbertson, and Weyhrauch, 2013):
— Низкий. Интервьер задаёт произвольные вопросы участнику или выбирает их из списка, ставит оценку участнику «в целом».
— Средний. Интервьюер сначала задаёт вопросы из списка, а затем дополнительные произвольные, ставит оценку по отдельным компетенциям.
— Высокий. Интервьюер задаёт вопросы строго по скрипту, без каких-либо дополнительных, оценивает ответ на каждый отдельный вопрос.
Точность интервью по компетенциям разного уровня стандартизированности (Thorsteinson, 2017)
*Согласованность отражает, насколько «одинаковые» оценки дают эксперты в отношении одного участника. Чем выше согласованность — тем лучше.
**Валидность — связь результатов интервью с эффективностью участников.
Другой пример — сведение в центрах оценки. Мы сейчас видим большой интерес к виртуальным центрам оценки и уверены, что даже на карантине компании продолжат проводить ЦО. Финальный этап в оценочной части ЦО — сведение: оценщики обсуждают участников и выставляют им финальные баллы. Последние исследования показывают, что статистическое сведение эффективнее экспертного. Наблюдатели усредняют свои оценки по разным компетенциям — получившаяся цифра и есть итоговый балл по центру оценки. Главное преимущество данной процедуры — на неё не влияет групповая динамика, которая возникает в ходе обсуждения результатов, и субъективность отдельных наблюдателей.
*Валидность — связь результатов ЦО с эффективностью участников.
Статистическое сведение может быть основой для заключительной части ЦО, но проводить только его нельзя. Результаты всё равно нужно обсуждать. Две причины:
— Наблюдатели могут выставить противоположные оценки одному участнику. Это различие требует обсуждения и согласования оценок.
— Написание отчётов требует глубоких выводов по участнику, которые могут возникнуть только в результате обсуждения.
Наконец, алгоритмизируйте механизм принятия решений. Мы согласны с идеей, что не надо принимать решения за менеджеров, надо упростить менеджерам условия для принятия решений. А алгоритмизация принятия кадровых решений не только упрощает принятие решений, но и повышает их точность (Shu, 2018; Yu, 2018):
— Применяйте механическое суммирование / усреднение результатов разных оценочных инструментов. Например, кандидат получил балл 87 (из 100) по тесту, по интервью — 3,5 (из 5), а по кейсу — 4,1. Мы переводим балл по тесту в пятибалльную шкалу (если не уходить в z-баллы, получится 5), чтобы все результаты можно было сравнивать между собой, и усредняем результаты по всем оценочным инструментам. Также баллы по разным инструментам могут идти с весами, чтобы учесть важность каждого из них (Sackett, Dahlke, Shewach, & Kuncel, 2017). Веса могут быть разработаны экспертно, но лучший вариант, если они разработаны на основе данных об эффективности каждого инструмента.
— Применяйте пороговые баллы. HR'ы часто пренебрегают этой очевидной стратегией (Woehr, Arthur Jr, & Fehrmann, 1991). Практически все автоматизированные инструменты оценки эффективны в задаче барьерометрии — отсеве слабых участников. Причина — тесты хорошо выявляют слабых участников, но менее точны в дифференциации «средних» от сильных. Поэтому в тестах способностях можно смело ставить пороговый балл 30 процентилей и таким образом сокращать воронку. В тестах знаний можно ставить более высокий пороговый балл — 70% и выше усвоенного материала (исходя из допущения, что человек для успешного выполнения своей работы должен знать как минимум 70% материала).

С этими двумя механизмами можно отсеивать слабых и «средних» участников, а оставшихся оставлять менеджеру для принятия его собственного решения (Kuncel, 2008).
4. Защитите оценку от обмана и социальной желательности — удалённый формат искушает участников
Мы не будем подробно описывать, как участники могут обманывать и искажать результаты оценки. Скажем только, что согласно оптимистичным оценкам, 30% людей фальсифируют результаты тестов и опросников (Griffith & Converse, 2012) и как минимум половина из них попадает в организацию и далее показывает низкую эффективность в работе (Donovan, Dwight, & Schneider, 2014). На удалёнке эта проблема встаёт в полный рост: кажется, что невозможно проконтролировать прохождение тестов и участники обязательно обманут. На первый взгляд это так, но есть способы защититься от фрода. Все способы защиты делятся на две группы — предотвращение и выявление. Первая требует более трудоёмких мер, но зато более эффективна. Вторая — менее трудоёмка, но и менее эффективна.
1
Методы предотвращения (или снижения вероятности) обмана.
— Прокторинг. Искусственный интеллект или человек наблюдает за участником во время прохождения теста и оценивает, в какой мере он следует инструкциям (ведётся запись видео и аудио, в поле зрения камеры нет второго лица, нет лишних шумов). В результате выводится оценка достоверности прохождения теста, с помощью которой можно отбраковать самые ненадёжные протоколы. А также можно сравнить лицо в кадре с фото участника, полученным из другого источника. Эти меры снижают процент обмана практически до нуля. Среди всех российских сервисов прокторинга мы рекомендуем Examus — на текущий момент у коллег самая совершенная технология.
При использовании прокторинга важно учитывать две вещи:
1. Он требует у участника наличия камеры и микрофона.
2. Он не очень нравится людям моложе 30 лет, т.к. создаёт у них ощущение нарушения приватности.
В случае использования прокторинга в рекрутменте количество желающих пройти тест снижается на 20-50% в зависимости от возрастного состава и географической распределённости участников. Мы прогнозируем, что со временем этот % будет стремительно падать. В оценке действующих сотрудников — к примеру, в рамках продвижения или формирования резерва — такого серьёзного сужения воронки не происходит.
— Оценка, основанная на искусственном интеллекте. Эта оценка использует так называемые black-box алгоритмы: способы выставления оценки настолько сложны, что не могут быть полностью проинтерпретированы и раскрыты. А значит, и участники не смогут понять и обмануть их. ИИ может как усовершенствовать традиционные технологии — тесты и опросники (например, delta.ai и Plum); так и предложить инновационные — автоматизированные чат-боты и видеоинтервью.
Пример ИИ в оценке персонала — видеоиннтервью в Конкурсе «Лидеры России»
ИИ анализирует в видеоинтервью участника его речь, эмоции и особенности голоса. В результате прогнозируется успешность участника на очных этапах Конкурса.
— Ипсативные опросники. Это опросники, в которых на одном экране участнику необходимо сделать выбор из двух и более утверждений. Ипсативные опросники мешают участникам искажать свои результаты, так как сравниваемые качества более-менее равны по своей «желательности» (Cao, & Drasgow, 2019). Обратные им — нормативные опросники — наоборот, более подвержены обману.
Нормативные опросники
Ипсативные опросники
Каждый вопрос — одно утверждение

Укажите, в какой мере Вы согласны с данным утверждением:

Я ответственно подхожу к выполнению задач
  • Согласен
  • Скорее согласен
  • Скорее не согласен
  • Не согласен
      Каждый вопрос — два и более утверждения

      Выберите наиболее подходящее Вам утверждение:

      • Я ответственно подхожу к выполнению задач
      • Я выстраиваю теплые отношения с другим
            — Предупреждения. Если участник знает, что в случае обмана он будет выявлен и исключён из отбора / отправлен на повторное тестирование — вероятность фальсификации результатов существенно снижается (Dwight, & Donovan, 2003).
            2
            Методы выявления обмана.
            Здесь мы ограничимся простым описанием каждого метода, чтобы не выдавать слишком много секретов. За подробностями вы можете обратиться к своему провайдеру психометрики.
            — Шкалы несогласованности ответов. Эти шкалы выявляют участников, которые пытаются сформировать определённый положительный профиль в своих ответах.
            — Специфичные паттерны ответов. Участники, которые пытаются обмануть опросники, отвечают достаточно специфично. И есть специальные методы выявления таких паттернов ответов.
            — Замер скорости ответа. Участники, которые заранее знают ответы на тесты знаний, отвечают слишком быстро. В опросниках работает обратный принцип, который используется в полиграфе: участники дают социально-желательные ответы в большей задержкой.
            Все методы выявления обмана менее эффективны, так как зачастую неясно, что делать с недостоверными результатами. Повторное тестирование во многих случаях провести невозможно — в личностном опроснике участник ещё сильнее исказит результат, а в тестах способностях наберёт ещё более высокий балл. Выявлять обман и социальную желательность полезно только в том случае, если за этим последует исключение участника из отбора. Но на такую меру идёт крайне мало компаний.
            5. Цифровизируйте оценку — если не сейчас, то никогда
            На удалёнке актуализируется давняя проблема оценки: результаты хранятся на индивидуальных дисках или в почтовых переписках, естественно, не связанных с какой-либо «материнской» системой. Из-за этого результаты оценки теряются, а оценщики тратят время на лишние транзакции и переключение между окнами. Причём в диджитализации рекрутёры шагнули намного дальше оценщиков: ATS'ки есть во многих российских компаниях, и они интегрированы со многими платформами для тестирования и видеоинтервью.
            ATS-платформы на российском рынке
            Оценка тоже должна иметь своё цифровое пространство, в котором можно управлять кандидатами и сотрудниками: назначать им инструменты, отслеживать прохождение, смотреть на результаты. На примере Success Factors (SF):
            — SF автоматизирует процессы оценки. В профиле сотрудника будут сохраняться результаты оценки и отчёты центра оценки, опросов 360 градусов, интервью. Результаты будут сохраняться вне зависимости от того, они были получены посредством встроенных в SF инструментов или из сторонних.
            — SF может быть интегрирован со всеми известными платформами для дистанционной оценки: создать «на той стороне» респондентов, принять и отобразить в личном кабинете результаты. Оценщик или рекрутёр будет работать в одном окне, не переключаясь между системами.
            6. Поддерживайте в участниках веру в точность оценки
            Люди с бо́льшим негативом относятся к дистанционной оценке. В первую очередь это касается тестов и телефонного / видео-интервью (Blacksmith, Willford & Behrend, 2016). Причины очевидны: дистанционная оценка кажется участникам более механизированной, менее управляемой и поэтому менее справедливой. Помимо «бесчеловечности», участникам не нравится отсутствие (или бедность) обратной связи и подверженность техническим ошибкам (Guchait, Ruetzler, Taylor, & Toldi, 2014).
            Исключение — виртуальные центры оценки. Согласно нескольким исследованиям, участники воспринимают их практически так же позитивно, как очные (Denunzio, Marira, & Collins, 2013; Fay, Frame, Kenworthy, & Lopez, 2013; Gibbons, & Lanik, 2014).
            В пользу дистанционной оценки есть три аргумента:
            1
            Дистанционная оценка предъявляется ко всем одинаковые требования, а значит, в этой части справедлива. Согласно исследованиям, на примере с видеоинтервью этот аргумент и соответствует действительности, и способствует принятию участнику своих результатов (Basch, & Melchers, 2019).
            2
            Дистанционная оценка компетенций равна по точности очной.
            — Виртуальные центры оценки с большей точностью оценивают аналитические компетенции и с меньшей — коммуникативные (Gibbons, & Lanik, 2014). Но оба формата сопоставимы по точности итогового балла, на основе которого формируется рейтинг участников (Lievens, Keer, & Volckaert, 2010).
            — Точность интервью, проводимого по видеосвязи, сопоставима с точностью очного интервью (Gorman, Robinson, & Gamble, 2018). Условие — высокий уровень структурированности интервью.
            3
            Дистанционная оценка удобна: интервью или тест можно пройти в удобном месте и в удобное время.
            7. Развивайте свою экспертизу — сейчас как можно лучшее время для этого
            Во-первых, из-за урезания бюджета на внешних подрядчиков. Во-вторых, для получения конкурентных преимуществ в условии возрастающей конкуренции на рынке. (В-третьих, узнавать что-то новое — просто интересно). Мы видим как минимум два направления профессионального развития российских оценщиков:
            Аналитика и проверка точности оценки
            Пока вы не измерили точность оценки — нельзя сказать, что она работает = прогнозирует эффективность, текучесть или на самом деле измеряет необходимые компетенции.

            Смотреть вебинар «Как измерить точность оценки персонала»
            Разработка оценочных инструментов
            Внутренние оценщики лучше понимают культуру компании, оцениваемые компетенции — и поэтому смогут разработать лучшие оценочные упражнения, опросники, интервью-гайды.

            — Читать руководство по разработке кейс-тестов
            — Читать книгу про разработку упражнений «Developing organizational simulations» (на английском)
            Также вас может заинтересовать полный список ресурсов по оценке персонала, который мы кропотливо собирали последние полгода:
            — Часть 1. Блоги, сообщества, журналы
            — Часть 2. Стандарты и научные журналы
            — Часть 3. Книги (на русском)
            — 12 лучших книг по оценке персонала (на английском)
            Литература
            1. Basch, J. M., & Melchers, K. G. (2019). Fair and flexible?! explanations can improve applicant reactions toward asynchronous video interviews. Personnel Assessment and Decisions, 5(3), 2.

            2. Blacksmith, N., Willford, J. C., & Behrend, T. S. (2016). Technology in the employment interview: A meta-analysis and future research agenda. Personnel Assessment and Decisions, 2(1), 2.

            3. Cao, M., & Drasgow, F. (2019). Does forcing reduce faking? A meta-analytic review of forced-choice personality measures in high-stakes situations. Journal of Applied Psychology, 104(11), 1347–1368.

            4. Denunzio, M. M., Marira, T. D., & Collins, L. G. (2013, August). Role-plays: See me? Hear me, assess me. Presented at the annual conference of the Academy of Management, Lake Buena Vista, FL.

            5. Donovan, J. J., Dwight, S. A., & Schneider, D. (2014). The impact of applicant faking on selection measures, hiring decisions, and employee performance. Journal of Business and Psychology, 29(3), 479–493.

            6. Dwight, S. A., & Donovan, J. J. (2003). Do warnings not to fake reduce faking? Human Performance, 16, 1–23.

            7. Gibbons, A. M., & Lanik, M. (2014). Traditional and technological assessment centers: capturing the same constructs, creating the same outcomes? Paper presented at the 38th International Congress on Assessment Center Methods, Alexandria, VA.

            8. Gorman, C. A., Robinson, J., & Gamble, J. S. (2018). An investigation into the validity of asynchronous web-based video employment-interview ratings. Consulting Psychology Journal: Practice and Research, 70(2), 129.

            9. Griffith, R. L., & Converse, P. D. (2012). The rules of evidence and the prevalence of applicant faking. In M. Ziegler, C. MacCann, & R. D. Roberts (Eds.), New perspectives on faking in personality assessment (p. 34–52). Oxford University Press.

            10. Guchait, P., Ruetzler, T., Taylor, J., & Toldi, N. (2014). Video interviewing: A potential selection tool for hospitality managers–a study to understand applicant perspective. International Journal of Hospitality Management, 36, 90–100.

            11. Huffcutt, A. I., Culbertson, S. S., & Weyhrauch, W. S. (2013). Employment interview reliability: New meta-analytic estimates by structure and format. International Journal of Selection and Assessment, 21, 264–276.

            12. Kuncel, N. R., Klieger, D. M., Connelly, B. S., & Ones, D. S. (2013). Mechanical versus clinical data combination in selection and admissions decisions: A meta-analysis. Journal of Applied Psychology, 98(6), 1060.

            13. Kuncel, N. R. (2008). Some new (and old) suggestions for improving personnel selection. Industrual and organizational psychology, 1, 343–346.

            14. Lievens, F. (2001). Assessor training strategies and their effects on accuracy, interrater reliability, and discriminant validity. Journal of Applied Psychology, 86(2), 255–264.

            15. Lievens, F., Keer, E. V., & Volckaert, E. (2010). Gathering behavioral samples through a computerized and standardized assessment center exercise. Journal of Personnel Psychology, 9 (2), pp. 94–98.

            16. Melchers, K. G., Lienhardt, N., Von Aarburg, M., & Kleinmann, M. (2011). Is more structure really Better? A comparison of frame‐of‐reference training and descriptively anchored rating scales to improve interviewers'rating quality. Personnel Psychology, 64(1), 53–87.

            17. Powell, D. M., & Bourdage, J. S. (2016). The detection of personality traits in employment interviews: Can "good judges" be trained?. Personality and Individual Differences, 94, 194–199.

            18. Sackett, P. R., Dahlke, J. A., Shewach, O. R., and Kuncel, N. R. (2017). Effects of predictor weighting methods on incremental validity. J. Appl. Psychol. 102, 1421–1434.

            19. Schleicher, D. J., Day, D. V., Mayes, B. T., & Riggio, R. E. (2002). A new frame for frame-of-reference training: Enhancing the construct validity of assessment centers. Journal of Applied Psychology, 87(4), 735–746.

            20. Shu, S. (2018). Debias human judgment with a common decision bias: an experimental study of the anchoring effect in hiring decision-making. Unpublished doctoral dissertation, University of Minnesota, Minneapolis.

            21. Woehr, D. J., Arthur Jr, W., & Fehrmann, M. L. (1991). An empirical comparison of cutoff score methods for content-related and criterion-related validity settings. Educational and Psychological Measurement, 51(4), 1029–1039.

            22. Yu, M. C. (2018). Viewing expert judgment in individual assessments through the lens model: testing the limits of expert information processing. Unpublished doctoral dissertation, University of Minnesota, Minneapolis.
            Автор статьи
            Юрий Шатров
            Руководитель практики
            «Digital Assessment»


            shatrov@ecopsy.ru
            facebook.com/lopecgo
            Читайте наш телеграм-канал, посвящённый оценке персонала. Новости в мире оценки, обзоры, вакансии.
            Close