4 трендов в оценке персонала: ИИ, геймификация, данные, симуляции
Мало кто так любит тренды в оценке персонала, как их любит ЭКОПСИ.
Юрий Шатров
Руководитель практики Digital Assessment ЭКОПСИ
Мы НЕ выделили эти технологии в отдельные тренды:
— Нейро-ассессмент. Между особенностями мозга и личностными чертами действительно есть связь (исследование 2010 года, презентация МШУ Сколково). Но, во-первых, эти связи слишком низкие -- на уровне 0,2-0,4. На человека влияет много факторов, и регистрируемая мозговая активность -- только один из них. Во-вторых, технология недостаточно масштабируемая. Оценка требует очного присутствия участника и наличия специального оборудования. На данный момент нейро-ассесмент -- экзотика, интересная исследователям, но не практикам.
— Виртуальная реальность (VR). VR действительно способствует более эффективному обучению (исследование на медиках, на солдатах, на ...). Но в оценке применение VR очень ограничено. VR-симуляции не могут быть полноценной заменой центру оценки -- слишком неразвиты технологии распознавания речи и образов. VR может быть приятным дополнением к играм на софтовые навыки (увольнение сотрудника), но и тут выгода неочевидна. Оборудование дорогостоящее. Единственная сфера применения VR -- моделирование аварийных ситуаций на производстве. Подробнее об этом мы рассказаем в блоке про геймификацию.
— Цифровой след. Между поведением в социальных сетях и личностными чертами действительно есть связь (обзор Косински, мета-анализ 2018 года, описание IBM Watson). И как показало недавнее судебное разбирательство, сторонние компании могут использовать данные социальных сетей для разработки своих сервисов. Но остаются этические и методические проблемы -- человек может по-разному вести себя в социальных сетях и на работе; человек может скрыть свой профиль или вести "социально-желательный" профиль; человек может быть против использования информации, которая кажется ему личной. На фоне этих сложностей закрылся HoganX -- проект, который разрабатывался для оценки людей по социальным сетям. (И уже показал, что
— Анализ организационных сетей (ONA). Bersin называет ONA трендом в HRTech. Действительно, ONA -- один из немногих инструментов работы с командами. С его помощью можно найти неформальных лидеров, которых необходимо пригласить в конкурсы HiPo, выделить перенагруженные подразделения, сформировать рекомендации по развитию для линейных и средних менеджеров. Но оценка остаётся массовой практикой, редко работающей на уровне команд. Её основная задача -- выявить. Мы верим, что у ONA большое будущее, но в решении специфичных задач.
— Нейро-ассессмент. Между особенностями мозга и личностными чертами действительно есть связь (исследование 2010 года, презентация МШУ Сколково). Но, во-первых, эти связи слишком низкие -- на уровне 0,2-0,4. На человека влияет много факторов, и регистрируемая мозговая активность -- только один из них. Во-вторых, технология недостаточно масштабируемая. Оценка требует очного присутствия участника и наличия специального оборудования. На данный момент нейро-ассесмент -- экзотика, интересная исследователям, но не практикам.
— Виртуальная реальность (VR). VR действительно способствует более эффективному обучению (исследование на медиках, на солдатах, на ...). Но в оценке применение VR очень ограничено. VR-симуляции не могут быть полноценной заменой центру оценки -- слишком неразвиты технологии распознавания речи и образов. VR может быть приятным дополнением к играм на софтовые навыки (увольнение сотрудника), но и тут выгода неочевидна. Оборудование дорогостоящее. Единственная сфера применения VR -- моделирование аварийных ситуаций на производстве. Подробнее об этом мы рассказаем в блоке про геймификацию.
— Цифровой след. Между поведением в социальных сетях и личностными чертами действительно есть связь (обзор Косински, мета-анализ 2018 года, описание IBM Watson). И как показало недавнее судебное разбирательство, сторонние компании могут использовать данные социальных сетей для разработки своих сервисов. Но остаются этические и методические проблемы -- человек может по-разному вести себя в социальных сетях и на работе; человек может скрыть свой профиль или вести "социально-желательный" профиль; человек может быть против использования информации, которая кажется ему личной. На фоне этих сложностей закрылся HoganX -- проект, который разрабатывался для оценки людей по социальным сетям. (И уже показал, что
— Анализ организационных сетей (ONA). Bersin называет ONA трендом в HRTech. Действительно, ONA -- один из немногих инструментов работы с командами. С его помощью можно найти неформальных лидеров, которых необходимо пригласить в конкурсы HiPo, выделить перенагруженные подразделения, сформировать рекомендации по развитию для линейных и средних менеджеров. Но оценка остаётся массовой практикой, редко работающей на уровне команд. Её основная задача -- выявить. Мы верим, что у ONA большое будущее, но в решении специфичных задач.
Искусственный интеллект: "обесчеловечивание оценки"
Искусственный интеллект (ИИ) – продвинутый уровень автоматизации. Оценка не просто происходит в цифровом формате; машина сама оценивает и предлагает решение по результатам.
Сейчас ИИ -- самая хайповая тема в HR. Этим пользуются стартапы, вставляющие в своё название "AI" вне зависимости от содержания продукта. Термин ИИ настолько неопределённый, что искусственным интеллектом обладает каждая компания, которая утверждает, что обладает им. Поэтому введём определение.
Сейчас ИИ -- самая хайповая тема в HR. Этим пользуются стартапы, вставляющие в своё название "AI" вне зависимости от содержания продукта. Термин ИИ настолько неопределённый, что искусственным интеллектом обладает каждая компания, которая утверждает, что обладает им. Поэтому введём определение.
Искусственный интеллект – набор алгоритмов, который обучается на данных и далее имитирует человека в решении конкретных задач.
Как любая новая тема, ИИ чаще обсуждается, чем применяется. По разным оценкам, только от 6 до 14% компаний используют ИИ в HR (Oracle, 2018; Sierra-Cedar, 2017; SHL, 2017).
В оценке ИИ тоже только начинает применяться.
Популярность ИИ в оценке персонала прослеживается по объёму инвестиций. Провайдеры, использующие ИИ, получили в 3,4 раза больше инвестиций, чем провайдеры без ИИ.
— Чат-боты и голосовые роботы. ИИ оценивает, насколько ответы на вопросы бота соответствуют профилю должности. Продвинутые формы ИИ ведут простой диалог с соискателем -- отвечают на вопросы и уточняют ответы. Провайдеры -- Mya Systems, Paradox, GoHire. В России -- Робот Вера, XOR и Яндекс.Таланты.
— Автоматизация видеоинтервью. ИИ прогнозирует эффективность человека на основе распознанной речи и эмоций. Провайдеры -- HireVue, Knockri, Intervy. В России -- Echo и Sever.ai. Также выделим True North, оценивающую по особенностям лица на фотографии.
— Оценка по голосу. ИИ оценивает личностные черты человека на основе . Провайдеры -- HireIQ. В России -- 151eye.
— Оценка по цифровому следу. ИИ оценивает личностные черты человека по лайкам и постам. Провайдеры -- Crystal Knows, Humantic, IBM Watson. В России -- Mail.ru и Психея.
— Продвинутый анализ ответов на опросник. Главная проблема опросников -- человек описывает, как видит себя, а значит, может самообманываться или обманывать тест. ИИ решает эту проблему -- анализирует ответы участника на опросник и прогнозирует поведение, если бы оно было оценено в 360 градусов. Провайдеры -- Plum.io и AssessFirst. В России -- delta.ai.
— Геймификация. ИИ оценивает человека по данным, которые были собраны в ходе игры, -- нажатиям клавиш, совершённым выборам, набранным баллам. Провайдеры -- PyMetrics, Arctic Shores, Knack App. Известные нам российские провайдеры ориентируются на зарубежные рынки.
— Прогноз увольнений на основе деловой переписки. ИИ анализирует как содержание переписки -- слова, которыми общается человек, так и процесс -- сколько и кому писем он написал. По результатам формируется вывод, насколько человек удовлетворён своей работой и как скоро он может уйти из компании. Провайдеры -- Isaak и Keencorp. В России -- Yva.ai.
В оценке ИИ тоже только начинает применяться.
Популярность ИИ в оценке персонала прослеживается по объёму инвестиций. Провайдеры, использующие ИИ, получили в 3,4 раза больше инвестиций, чем провайдеры без ИИ.
— Чат-боты и голосовые роботы. ИИ оценивает, насколько ответы на вопросы бота соответствуют профилю должности. Продвинутые формы ИИ ведут простой диалог с соискателем -- отвечают на вопросы и уточняют ответы. Провайдеры -- Mya Systems, Paradox, GoHire. В России -- Робот Вера, XOR и Яндекс.Таланты.
— Автоматизация видеоинтервью. ИИ прогнозирует эффективность человека на основе распознанной речи и эмоций. Провайдеры -- HireVue, Knockri, Intervy. В России -- Echo и Sever.ai. Также выделим True North, оценивающую по особенностям лица на фотографии.
— Оценка по голосу. ИИ оценивает личностные черты человека на основе . Провайдеры -- HireIQ. В России -- 151eye.
— Оценка по цифровому следу. ИИ оценивает личностные черты человека по лайкам и постам. Провайдеры -- Crystal Knows, Humantic, IBM Watson. В России -- Mail.ru и Психея.
— Продвинутый анализ ответов на опросник. Главная проблема опросников -- человек описывает, как видит себя, а значит, может самообманываться или обманывать тест. ИИ решает эту проблему -- анализирует ответы участника на опросник и прогнозирует поведение, если бы оно было оценено в 360 градусов. Провайдеры -- Plum.io и AssessFirst. В России -- delta.ai.
— Геймификация. ИИ оценивает человека по данным, которые были собраны в ходе игры, -- нажатиям клавиш, совершённым выборам, набранным баллам. Провайдеры -- PyMetrics, Arctic Shores, Knack App. Известные нам российские провайдеры ориентируются на зарубежные рынки.
— Прогноз увольнений на основе деловой переписки. ИИ анализирует как содержание переписки -- слова, которыми общается человек, так и процесс -- сколько и кому писем он написал. По результатам формируется вывод, насколько человек удовлетворён своей работой и как скоро он может уйти из компании. Провайдеры -- Isaak и Keencorp. В России -- Yva.ai.
Как любая новая тема, ИИ чаще обсуждается, чем применяется. По разным оценкам, только от 6 до 14% компаний используют ИИ в HR (Oracle, 2018; Sierra-Cedar, 2017; SHL, 2017).
В оценке ИИ тоже только начинает применяться.
Популярность ИИ в оценке персонала прослеживается по объёму инвестиций. Провайдеры, использующие ИИ, получили в 3,4 раза больше инвестиций, чем провайдеры без ИИ.
— Чат-боты и голосовые роботы. ИИ оценивает, насколько ответы на вопросы бота соответствуют профилю должности. Продвинутые формы ИИ ведут простой диалог с соискателем -- отвечают на вопросы и уточняют ответы. Провайдеры -- Mya Systems, Paradox, GoHire. В России -- Робот Вера, XOR и Яндекс.Таланты.
— Автоматизация видеоинтервью. ИИ прогнозирует эффективность человека на основе распознанной речи и эмоций. Провайдеры -- HireVue, Knockri, Intervy. В России -- Echo и Sever.ai. Также выделим True North, оценивающую по особенностям лица на фотографии.
— Оценка по голосу. ИИ оценивает личностные черты человека на основе . Провайдеры -- HireIQ. В России -- 151eye.
— Оценка по цифровому следу. ИИ оценивает личностные черты человека по лайкам и постам. Провайдеры -- Crystal Knows, Humantic, IBM Watson. В России -- Mail.ru и Психея.
— Продвинутый анализ ответов на опросник. Главная проблема опросников -- человек описывает, как видит себя, а значит, может самообманываться или обманывать тест. ИИ решает эту проблему -- анализирует ответы участника на опросник и прогнозирует поведение, если бы оно было оценено в 360 градусов. Провайдеры -- Plum.io и AssessFirst. В России -- delta.ai.
— Геймификация. ИИ оценивает человека по данным, которые были собраны в ходе игры, -- нажатиям клавиш, совершённым выборам, набранным баллам. Провайдеры -- PyMetrics, Arctic Shores, Knack App. Известные нам российские провайдеры ориентируются на зарубежные рынки.
— Прогноз увольнений на основе деловой переписки. ИИ анализирует как содержание переписки -- слова, которыми общается человек, так и процесс -- сколько и кому писем он написал. По результатам формируется вывод, насколько человек удовлетворён своей работой и как скоро он может уйти из компании. Провайдеры -- Isaak и Keencorp. В России -- Yva.ai.
В оценке ИИ тоже только начинает применяться.
Популярность ИИ в оценке персонала прослеживается по объёму инвестиций. Провайдеры, использующие ИИ, получили в 3,4 раза больше инвестиций, чем провайдеры без ИИ.
— Чат-боты и голосовые роботы. ИИ оценивает, насколько ответы на вопросы бота соответствуют профилю должности. Продвинутые формы ИИ ведут простой диалог с соискателем -- отвечают на вопросы и уточняют ответы. Провайдеры -- Mya Systems, Paradox, GoHire. В России -- Робот Вера, XOR и Яндекс.Таланты.
— Автоматизация видеоинтервью. ИИ прогнозирует эффективность человека на основе распознанной речи и эмоций. Провайдеры -- HireVue, Knockri, Intervy. В России -- Echo и Sever.ai. Также выделим True North, оценивающую по особенностям лица на фотографии.
— Оценка по голосу. ИИ оценивает личностные черты человека на основе . Провайдеры -- HireIQ. В России -- 151eye.
— Оценка по цифровому следу. ИИ оценивает личностные черты человека по лайкам и постам. Провайдеры -- Crystal Knows, Humantic, IBM Watson. В России -- Mail.ru и Психея.
— Продвинутый анализ ответов на опросник. Главная проблема опросников -- человек описывает, как видит себя, а значит, может самообманываться или обманывать тест. ИИ решает эту проблему -- анализирует ответы участника на опросник и прогнозирует поведение, если бы оно было оценено в 360 градусов. Провайдеры -- Plum.io и AssessFirst. В России -- delta.ai.
— Геймификация. ИИ оценивает человека по данным, которые были собраны в ходе игры, -- нажатиям клавиш, совершённым выборам, набранным баллам. Провайдеры -- PyMetrics, Arctic Shores, Knack App. Известные нам российские провайдеры ориентируются на зарубежные рынки.
— Прогноз увольнений на основе деловой переписки. ИИ анализирует как содержание переписки -- слова, которыми общается человек, так и процесс -- сколько и кому писем он написал. По результатам формируется вывод, насколько человек удовлетворён своей работой и как скоро он может уйти из компании. Провайдеры -- Isaak и Keencorp. В России -- Yva.ai.
Геймификация: оценка должна быть интересной
В 2012-2015 году геймификация была главным трендом в оценке персонала за рубежом. Появилось более 30 стартапов в этой области. Со временем провайдеры классической психометрики также разработали свои game-based assessements.
Есть сомнения в том, насколько игры могут применяться в оценке:
— Евгений Лурье в 2015 писал "Лучше ПОКА не используйте игры для оценки, особенно для отбора, особенно компьютерные симуляции".
— Автор этого текста в 2016 году писал "Геймификация в оценке персонала – это хорошо, но не сейчас".
— SHL в 2017 году на основе исследования заключил, что даже молодые кандидаты не воспринимают игры как достаточно точный инструмент оценки.
— Чарльз Хэндлер в 2018 писал "Игры -- это весело, а оценка -- нет".
Но запрос на геймификацию есть. В исследовании Talent Q и НИУ ВШЭ 2018 года геймификации названа одним из трендов в оценке.
Разноголосица в том, что же понимается под играми. Необходимо разделить "геймифицированную оценку" (gamified assessment) и "оценку, основанную на играх" (game-based assessment). (Ещё неплохое разделение было у CEB: https://evaliontm.com/articles/pdfs/6/UnderstandingAssessmentTypesin2017eBook.pdf).
— Геймифицированные кейс-тесты.
Есть сомнения в том, насколько игры могут применяться в оценке:
— Евгений Лурье в 2015 писал "Лучше ПОКА не используйте игры для оценки, особенно для отбора, особенно компьютерные симуляции".
— Автор этого текста в 2016 году писал "Геймификация в оценке персонала – это хорошо, но не сейчас".
— SHL в 2017 году на основе исследования заключил, что даже молодые кандидаты не воспринимают игры как достаточно точный инструмент оценки.
— Чарльз Хэндлер в 2018 писал "Игры -- это весело, а оценка -- нет".
Но запрос на геймификацию есть. В исследовании Talent Q и НИУ ВШЭ 2018 года геймификации названа одним из трендов в оценке.
Разноголосица в том, что же понимается под играми. Необходимо разделить "геймифицированную оценку" (gamified assessment) и "оценку, основанную на играх" (game-based assessment). (Ещё неплохое разделение было у CEB: https://evaliontm.com/articles/pdfs/6/UnderstandingAssessmentTypesin2017eBook.pdf).
— Геймифицированные кейс-тесты.
Мы уже писали про кейс-тесты (и будем писать ещё). К примеру, вы можете прочитать наше полное руководство по их разработке.
Геймифицированные кейс-тесты отличаются от типичных, текстовых, только одним -- игровым сеттингом. Участник попадает в историческую эпоху или в вымышленный мир -- и в формате диалога решает проблемы, повторяющие типичные рабочие ситуации. Помогает заплутавшему путнику, даёт совет капитану корабля, ведёт переговоры с лидером смуты.
Пример геймифицированных кейс-тестов -- греческий провайдер Owiwi. Кейс-тесты Owiwi ориентированы на выпускников и оценивают 8 компетенций: стрессоустойчивость, адаптивность, гибкость, принятие решений, этичность, ответственность, обучаемость, работа в команде. Каждая компетенция оценивается в рамках отдельного кейс-теста внутри цельной игры.
Пример геймифицированных кейс-тестов -- греческий провайдер Owiwi. Кейс-тесты Owiwi ориентированы на выпускников и оценивают 8 компетенций: стрессоустойчивость, адаптивность, гибкость, принятие решений, этичность, ответственность, обучаемость, работа в команде. Каждая компетенция оценивается в рамках отдельного кейс-теста внутри цельной игры.
Пример кейсового задания в Owiwi. Игрок ...
Провайдеры геймифицированных кейс-тестов
Стоит доверять точности геймифицированных кейс-тестов -- они мало чем отличаются от текстовых аналогов, валидность которых уже доказана. Скептики могут посмотреть исследования Owiwi и Talegent.
Fetzer, M., McNamara, J., & Geimer, J. L. (2017). Gamification, serious games and personnel selection. In Goldstein, H. W., Pulakos, E. D., Passmore, J., & Semedo, C. (Eds.), The Wiley Blackwell handbook of the psychology of recruitment, selection and employee retention (pp. 293–309). West Sussex, UK: John Wiley & Sons Ltd.
https://www.hrreview.co.uk/wp-content/uploads/White-paper-cut-e-Gamification-in-assessment.pdf !!!
https://assessment.aon.com/en-us/online-assessment...
http://lumenpublishing.com/journals/index.php/po/a...
— Геймифицированные тесты способностей.
Каждый из нас играл в головоломки на смартфонах -- . Геймифицированные тесты способностей -- это игры-головоломки, только с психометрическим движком. Участник решает простые задачи на память, внимательность, скорость реакции в приятном интерфейсе на мобильном телефоне.
Fetzer, M., McNamara, J., & Geimer, J. L. (2017). Gamification, serious games and personnel selection. In Goldstein, H. W., Pulakos, E. D., Passmore, J., & Semedo, C. (Eds.), The Wiley Blackwell handbook of the psychology of recruitment, selection and employee retention (pp. 293–309). West Sussex, UK: John Wiley & Sons Ltd.
https://www.hrreview.co.uk/wp-content/uploads/White-paper-cut-e-Gamification-in-assessment.pdf !!!
https://assessment.aon.com/en-us/online-assessment...
http://lumenpublishing.com/journals/index.php/po/a...
— Геймифицированные тесты способностей.
Каждый из нас играл в головоломки на смартфонах -- . Геймифицированные тесты способностей -- это игры-головоломки, только с психометрическим движком. Участник решает простые задачи на память, внимательность, скорость реакции в приятном интерфейсе на мобильном телефоне.
Пример задания в геймифицированных тестах способностей MindX. Игрок ...
Исследование про валидность из статьи Хогана.
Провайдеры геймифицированных тестов способностей
Провайдеры игр для оценки персонала
