Получите консультацию специалиста
Полное руководство по кейс-тестам в оценке персонала
Недавно нас спросили, какой инструмент оценки мы считаем самым недооценённым в России. Командой психометриков мы пришли к однозначному ответу – кейс-тесты.
Только 25% российских организаций используют кейс-тесты. Для сравнения: за рубежом в 2014 году данный показатель был равен 43%. В зарубежных научных журналах каждый год выходят сотни статей по теме кейс-тестов. В России мы нашли десяток публикаций про этот инструмент (включая квалификационные работы и обзоры). Одним словом, практика разработки и применения кейс-тестов в российской оценке не распространена.
Российские публикации по теме кейс-тестов
1. Алтухов В. В. (2011). Менеджеры по продажам: подбор и достоверная оценка потенциала. Методика «CaseSales» http://maintest.ru/kb/articles/article2/
2. Лурье Е. В. (2010). Психодиагностика на службе современных кадровых технологий https://old.ht-lab.ru/cms/patent/101257-2010-05-30...
3. Лурье Е. В. (2010). Разработка теста оценки ситуаций на основе модели ситуационного руководства. https://cyberleninka.ru/article/n/razrabotka-testa...
4. Личутина Э. И. (2017). Оценка компетенций у менеджеров с помощью теста ситуативных суждений. Выпускная квалификационная работа. URL: https://dspace.spbu.ru/bitstream/11701/8265/1/VKRL...
5. Потапкин А. А. (2004). Ситуационно-операциональная решетка как метод профессиональной психодиагностики. URL: http://www.dslib.net/psixologia-truda/situacionno-...
6. Шатров Ю. И., Лурьев Е. В. (2015). Разработка кейс-тестов для оценки персонала. URL: https://rabota-psy.livejournal.com/321311.html
7. Шварева О. В. (2013). Кейс-тест: инновационное оценочное средство компетентности бакалавров. URL: https://cyberleninka.ru/article/n/keys-test-innova...
8. Шмелёв А. Г. (2006). Компьютеризированные кейс-тесты как инструмент профессиональной психодиагностики.
9. Элифханов С. Р. (2018). Использование Теста ситуативных суждений для оценки компетенции у продавцов. Выпускная квалификационная работа. URL: https://dspace.spbu.ru/bitstream/11701/13947/1/Dip...
Столь слабая популярность констрастирует с теми преимуществами, которыми обладают кейс-тесты. Для глубокого знакомства российского оценщика с кейс-тестами мы решили написать подробное руководство. Наша задача – убедить компании из реального сектора, что они могут самостоятельно разрабатывать кейс-тесты.
Что такое кейс-тесты?
Кейс-тест – метод оценки персонала, в котором участник решает проблемную ситуацию с помощью выбора одного из нескольких вариантов действий. Результат кейс-теста рассчитывается автоматически. Используются бумажные, компьютеризированные и мультимедийные (видео / игровые) форматы кейс-тестов.

Синонимы: ситуационный тест, тест оценки ситуаций, тест ситуационных (или ситуативных) суждений. На Западе используются названия Situational Judgment Test (SJT) и Low-fidelity simulation.
Примеры заданий кейс-тестов
Управление проектами
Военная подготовка
Вы работаете над сложным проектом. Скоро близится дата его сдачи, и вы понимаете, что можете не уложиться в необходимый срок.

Оцените эффективность каждого действия, которое Вы можете совершить в данной ситуации.

1. Объяснить руководителю ситуацию и попросить его перенести срок сдачи проекта.
2. Распланировать задачи, усердно работать и пытаться сдать проект в срок.
3. Завершить до срока сдачи наиболее важные части проекта, второстепенные доделать после.
4. Привлечь дополнительных людей к завершению проекта и попытаться уложиться в срок.
Вы выполняете военную операцию. Сроки её выполнения очень сжаты – у Вас осталось мало времени, чтобы добраться до пункта назначения. Сейчас Вы должны перебраться на другую сторону реки. Ширина реки – около 40 Ваших шагов. Снег замёл реку, и Вы не знаете, насколько прочен лёд. В 30 шагах от себя Вы видите две доски. Также Вы знаете, что 2 километрах вниз по реке есть мост.

Оцените эффективность каждого действия, которое Вы можете совершить в данной ситуации.

1. Дойти до моста и перейти по нему на другую сторону реки.
2. Быстро перебежать по льду на реке.
3. Взять доски и, проверяя ими прочность льда, пройти по реке.
4. Медленно перейти по льду на реке.
Почему необходимо разрабатывать и применять кейс-тесты?
Кейс-тесты позволяют диджитализировать поведенческую оценку. Они одновременно (1) оценивают установки, которые лежат в основе компетенций и ценностей; (2) описывают реальные рабочие ситуации; (3) автоматизированы. Всё это вкупе с достаточно высокими психометрическими характеристиками.
Валидность – 0,34
Это выше, чем у личностных опросников (0,26), но ниже, чем у центра оценки (0,42). Также есть подтверждения того, что результаты кейс-тесты сохраняют актуальность спустя 9 лет после оценки.
Надёжность – 0,57
Это самая слабая сторона кейс-тестов. Тем не менее, достигнуть необходимого уровня надёжности (0,6) можно с помощью (1) следования правилам разработки, описанным в данном руководстве; (2) увеличения количества заданий (кейсов) в тесте.
Защищённость от социальной желательности и научения
Кейс-тесты в большей мере защищены от угадывания и попыток дать "правильный" ответ, чем тесты знания или личностные опросники. Также кейс-тесты более устойчивы к научению – в результате прохождения специальных тренингов или многократного заполнения, – чем тесты способностей или тесты знаний.
Восприятие участниками
Кейс-тесты воспринимаются участниками более позитивно, чем личностные опросники, тесты способностей, тесты знаний – и даже очные упражнения. Людям нравится то, что в кейс-тестах они решают реальные рабочие ситуации.
Кейс-тест, разработанный ЭКОПСИ
Что оценивают кейс-тесты?
Кейс-тесты могут оценивать три группы критериев:
1
Профессиональные знания
Приведённый выше кейс-тест, посвящённый навыкам военной подготовки, оценивает профессиональные знания. Основное преимущество кейс-тестов перед тестами знаний – реалистичность: они описывают рабочие ситуации, а не предъявляют вопросы "в вакууме". В настоящий момент профессиональные кейс-тесты воплощаются в развивающих VR-симуляциях.
2
Личностные черты
Кейс-тесты могут оценивать универсальные личностные черты – "Большую пятёрка", благонадёжность, адаптивность. В среднем, точность оценки личностных черт у кейс-тестов ниже, чем у личностных опросников. Исключение – оценка эмоционального интеллекта и смежных коммуникативных конструктов: в этой задаче кейс-тесты показывают более высокую точность.
3
Установки
Большая часть кейс-тестов, разработанных для оценки персонала, измеряет базовые представления человека о том, как необходимо выполнять рабочие задачи и выстраивать профессиональные отношения. В англоязычной литературе используется термин "implicit trait policies", который можно перевести как "установки на черты".

Эти установки лежат в основе корпоративных компетенций и проявляемых человеком ценностей. Как следствие, кейс-тесты могут применяться как фильтр в поведенческой (компетентостной или ценностной) оценке.
Валидность кейс-тестов на примере коммуникативных компетенций
Для решения каких задач можно применять кейс-тесты?
1
Знакомство кандидата с работой (realistic job preview, RJP)
Кейс-тесты позволяют кандидатам понять, насколько им подходит определённая компания или работа. В этом случае кейс-тест может не иметь психометрического движка и работает как инструмент привлечения, но не отбора. Ссылка на кейс-тест располагается на корпоративном портале и кандидат может заполнить её неограниченное количество раз. После заполнения кандидат получает автоматизированную обратную связь, а в случае успешного прохождения – оставляет заявку на позицию. Вопросы такого кейс-теста просты, могут иметь шуточный характер, что дополнительно формирует у кандидата положительный образ компании.

Есть много примеров RJP в формате кейс-тестов, мы особенно рекомендуем посмотреть на McDonalds, Heineken и Delloite.
Нажмите на логотипы компаний, чтобы увидеть примеры их RJP в формате кейс-тестов
2
Оценка компетенций / ценностей кандидатов или сотрудников
Кейс-тесты могут оценивать, насколько кандидат или сотрудник соответствует требованиям к компетенциям или ценностям. В этом случае они работают как фильтр – кандидат может «провалить» тест и не попасть на следующий этап отбора. Такие инструменты разрабатываются под массовые позиции – операционисты, специалисты call-центра, директора магазина и др. Вопросы имеют достаточно серьёзный и реалистичный характер, отражающий суть предполагаемой работы.
3
Оценка усвоенности знаний в рамках обучения
Кейс-тесты могут оценивать, насколько успешно сотрудник освоил знания, которые были даны в рамках обучении. В таких кейс-тестах участник должен отвечать в соответствии с материалом программы обучения. Этим материалом могут быть стандарты работы или, к примеры конкретные "коммуникативные" теории, – ситуационное лидерство, этапы продаж, теория Митчела Хауса и др.
Как разрабатывать кейс-тесты?
Мы опишем разработку только тех кейс-тестов, которые могут использоваться в оценке корпоративных ценностей или компетенций. Эти кейс-тесты специфичны для определённой должности или компании, что максимизирует их точность. Мы не рассмотрим кейсы-тесты, измеряющие знания, и универсальные кейс-тесты, оценивающие личностные черты.
1
Определение фокуса кейс-теста
Кейс-тест может решать две задачи:
— Оценка общего соответствия компании / целевой позиции. Результат – одно число, описывающее, насколько человек соответствует позиции или компании.
— Оценка нескольких качеств, которые необходимы на позиции / в компании. Источник для качеств – модель компетенций / ценностей или результаты анкетирования экспертов в позиции.
2
Разработка кейсов (заданий)
2.1
Разработка стемов (описаний ситуаций)
Основа пункта (задания) в кейс-тесте – ситуация, или стем. Первый этап разработки кейс-теста – наработка избыточного списка ситуаций. Мы рекомендуем использовать метод критических инцидентов – фокус-группу, опрос или интервью сотрудников, работающих на целевой позиции. Необходимо привлекать от 4 экспертов, обладающих опытом работы от 3 на целевой позиции / участвовавших в разработке модели оцениваемых критериев.
Примеры вопросов для опроса экспертов
Кейс-тест оценивает общее соответствие позиции / компании
Опишите сложную ситуацию, случившуюся с Вами во время работы на данной должности.
Кейс-тест оценивает несколько качеств
Опишите сложную ситуацию, случившуюся с Вами во время работы на данной должности. Она требовала от Вас проявления [простое, поведенческое описание оцениваемого качества].
В случае если кейс-тест оценивает общее соответствие позиции или компании – мы рекомендуем собрать 20-30 ситуаций. Если несколько качеств – 7-12 на каждое качество. Наработка ситуаций должна длиться до тех пор, пока эксперты не начнут повторяться и перестанут описывать новые ситуации.
После того, как собран избыточный список – необходимо его обработать: удалить повторяющиеся ситуации и сформировать первичный текст каждой из них. Потенциально эффективные ситуации должны обладать следующими характеристиками:
Сложность
Ситуации должны описывать проблему – столкновение интересов их участников, разрыв между актуальным и целевым состоянием подразделения, происшествие в организации.
Неопределённость
Ситуации не должны быть описаны максимально подробно. Участник оценки должен самостоятельно проанализировать недостающие условия задачи.
Реалистичность
Ситуации должны происходить в реальной жизни сотрудников. Это могут быть достаточно редкие, но всё-таки встречающиеся ситуации.
2.2
Разработка вариантов ответа
В кейс-тестах у каждой ситуации есть несколько вариантов ответа – действий, которые участник может в ней совершить. Варианты ответов необходимо разрабатывать с привлечением сотрудников компании. Есть два подхода к их разработке:
— Привлечь экспертов, которые разрабатывали стемы.
— Привлечь сотрудников, показывающих разный уровень эффективности в работе.
Мы рекомендуем использовать второй подход. С его использованием уже на этом этапе мы повышаем точность кейс-теста, так как выделяем варианты ответов, которые различают эффективных и неэффективных сотрудников.
Эксперты или сотрудники должны дать как можно больше вариантов действий в каждой ситуации. На этом этапе не следует их ограничивать – предлагаемые варианты действий могут быть как эффективными, так и неэффективными.
После сбора всех вариантов действий необходимо проделать их первичную обработку:
— Убрать нереалистичные варианты действий.
— Объединить похожие варианты действий.
— Сделать все варианты действий более-менее равными по уровню социальной желательности. Это самый сложная задача в разработке кейс-тестов – сохранить смысл ответа, при этом немного "подтянув" его по уровню социального одобрения. Если мы этого не сделаем – кандидаты или сотрудники будут легко угадывать варианта ответа, а не отвечать в соответствии со своими установками.
В результате на каждую ситуацию необходимо оставить 6-8 вариантов действий. Это будет наш избыточный список ответов, на основе которого мы далее выберем ключи – правильные варианты ответа.
2.3
Выбор инструкции к кейсам
Варианты ответов всегда дополняются инструкцией – описанием того, как необходимо работать с заданиями кейс-теста. В кейс-тестах используется два вида инструкций:
Знаниевая – участник должен выбрать варианты действий, которые он считает самыми эффективными. При этом в типовых ситуациях он сам может вести себя по-другому.
Поведенческая – участник должен отвечать в соответствии с тем, как бы он поступил в данной ситуации.
В ситуации отбора мы рекомендуем использовать "знаниевую", а не поведенческую инструкцию. Основная причина – в случае поведенческой инструкцией часть участников всё равно будет отвечать в соответствии со "знаниевой". Они будут отвечать не как поступили бы на самом деле, а как считают правильным поступать (и необязательно поступают так сами). Эти участники будут получать несправедливое преимущество.
В ситуации развития можно использовать поведенческую инструкцию – когда нет рисков участники склонны давать более честные ответы.
3.
Разработка механизмов вычисления результатов
3.1
Разработка ключей
Ключи – это указание на то, какие варианты ответа являются правильными и неправильными (эффективными и неэффективными в случае кейс-тестов). По аналогии с разработкой вариантов ответов на этом этапе можно использовать два подхода:
— Провести опрос среди экспертов в целевых позициях / оцениваемой модели критериев.
— Провести опрос среди сотрудников, показывающих низкий и высокий уровень результативности.
Опрашиваемые участники – вне зависимости от подхода – должны самостоятельно оценить эффективность всех вариантов ответов в каждой ситуации по 6-ти балльной шкале.
Важно: Можно использовать 4-х балльную шкалу. Важно не использовать шкалу с нечётным количеством категорий (3 или 5) - в этом случае участники будут "злоупотреблять" срединным (2 или 3) ответом.
В случае привлечения экспертов следующим шагом будет подсчёт согласованности их суждений – насколько похожим образом они оценили эффективность одного ответа. Здесь могут использовать любые метрики согласованности. Если какой-то вариант ответа имеет низкий уровень согласованности, то есть эксперты по-разному оценили его эффективность, – он не должен использоваться в тесте. Необходимо оставить только однозначно оцениваемые варианты ответов.
Если привлекались сотрудники – можно измерить разницу между их ответами с помощью логистической регрессии. И также оставить только те варианты ответов, которые различают эффективных и неэффективных сотрудников.
Результат данного этапа – указание на то, какие варианты ответов являются правильными и неправильными. В итоге должно остаться 4 или (реже) 5 вариантов ответа на каждый кейс. Кейс-тест уже готов на 50%.
3.2
Выбор формата ответов
В кейс-тестах используется несколько форматов ответов. В зависимости от формата участник должен совершить разные действия:
Выбор одного. "Выберите один самый эффективный вариант действия".
Most-least. "Выберите один самый эффективный и один самый неэффективный вариант действия".
Ранжирование. "Расставьте все варианты действия в порядке их эффективности".
Оценка всех вариантов. "Оцените эффективность каждого варианта действия по 4 (или 6) балльной шкале".
Выбор одного
Most-least
Ранжирование
Оценка всех вариантов
Самые эффективные форматы ответов – ранжирование и оценка всех вариантов. Они дают самое большое количество баллов в каждом кейсе, что повышает надёжность и дифференцируемость участников. В "выборе одного" и "most-least" форматах в каждом кейсе можно получить 1 или 2 балла. В "ранжировании" и "оценке всех вариантов" количество баллов будет равняться количеству вариантов ответов в каждом кейсе.
3.3
Разработка механизмов вычисления сырого балла
Когда у нас есть варианты ответов и ключи кейс-теста – мы можем разработать механизм вычисления результатов. Результаты вычисляются в два шага. Первый – это вычисление сырого балла участника. Сырой балл отражает количество правильных ответов, без сравнения с результатами других участников. Второй этап – вычисление стандартизированного балла, то есть сравнение сырого балла участника с сырыми баллами выборки.
Ранее мы рекомендовали использовать "ранжирование" или "оценку всех вариантов" в качестве форматов ответа. Есть два способа вычислить сырой балл в рамках этих форматов:
Измерить расстояние ответа участника до ключа. Для примера возьмём 4-х балльную шкалу ответа. У одного варианта действия ключ "4" – этот вариант действия очень эффективный. Участник оценил его на "2" – этот вариант, согласно его представлениям, скорее неэффективный. Два вычитается из 4, берётся модуль значения (убирается знак "минус") – получается 2. Это и есть расстояние ответа участника до ключа. Чем больше расстояние (значение выше "0") – тем более низкий балл получает участник. Сырые баллы за каждый ответ суммируются и получается итоговый сырой балл по кейс-тесту / его отдельной шкале.
Высчитать количество правильных ответов. Для этого необходимо "дихотомизировать" ключи – упростить до (0) неправильный вариант ответа; (1) правильный вариант ответа. Этот приём необходим для того, чтобы не штрафовать участников за отсутствие разницы между "очень эффективно" / "эффективно". После этого посчитать, совпадают ли ключи и ответы участников. Количество совпадений – это количество сырых баллов участника.
3.4
Разработка механизмов вычисления стандартизированного балла
При расчёте сырого балла ответы участника сравнивались с ключом. Теперь результаты каждого участника должны пройти сравнение с выборкой –результатами других участников. Результат этого сравнения – стандартизированный балл. Способ вычисления стандартизированного балла отличается в зависимости от того, в какой шкале мы хотим в итоге отображать результаты.
Стены (1-10) или станайны (1-9). В вычислении стентов или станайнов используется среднее и стандартное отклонение сырых баллов. В итоге распределение оценок в этих шкалах приближено к нормальному. Формула для вычисления стенов:
((Сырой балл участника – среднее сырых баллов выборки) / стандартное отклонение баллов выборки) * 2 + 5,5
Процентили (0-100). Процентиль отражает, сколько участников получили такой же или более низкий балл, чем участник. Процентиль "45" означает, что участник получил более высокий результат, чем 45 других участников. Простая формула для вычисления процентилей:
(Количество участников, чей сырой балл <= сырому баллу участнику / общее количество участников в выборке нормирования) *100
Если Вы разрабатывайте кейс-тест, оценивающий несколько качеств – результаты по ним можно объединить в один итоговый балл.
— В случае использования стандартизированной шкалы (станайны / стены / т-баллы) – просто усредните или суммируйте баллы по шкалам.
— В случае использования процентилей – проделайте более сложную операцию. Процентили усреднять нельзя, поэтому необходимо (1) перевести все сырые оценки по шкалам в стандартизированную шкалу (z-шкалу, например); (2) усреднить получившиеся стандартизированные оценки; (3) перевести усреднённое значение в процентиль. Получившийся итоговый процентиль не будет равен среднему процентилей по шкалам, что может создать дополнительные вопросы у участников. Но такова цена использования простой и понятной шкалы процентилей.
4.
Выбор формата кейс-теста
Мы не рекомендуем проводить кейс-тест в бумажном формате. Во-первых, его обработка будет достаточно трудозатратна. Во-вторых, бумажные бланки с заданиями часто крадутся. В качестве альтернативы есть 2 формата:
4.1
Компьютеризированные кейс-тесты
Самый важный вопрос - выбор платформы для тестирования. Платформа должна обладать следующими возможностями:
Рандомизация заданий (кейсов) между собой. Задания предъявляются в случайном порядке.
Рандомизация вариантов ответа. Ответы предъявляются внутри каждого кейса в случайном порядке.
Ранжирование или "оценка всех вариантов" в качестве формата ответов. Эти форматы ответов, как мы писали выше, дают кейс-тесту максимальную надёжность.
Настройка расчёта сырых и стандартизированных результатов, экспорт в табличный вид (xls / csv).
Функционирование на HTML, а не на flash- / java-плеере. Флеш не поддерживается на старых браузерах.
Поддержка адаптивной вёрстки / мобильная версия. Всё больше участников проходит тестирование с мобильных телефонов.
В среднем, платформы провайдеров психометрики (как Linkis от ЭКОПСИ) или провайдеров HRM систем (как Question Mark на SF) обладают данными возможностями.
Важно поделиться с каждым участником результатами тестирования. Это может быть html-форма – тогда участник видит свои результаты только в цифровом виде. Или pdf- / doc-форма, которую участник может скачать и распечатать. В последнем случае для формирования отчёта можно использовать excel, который на основе макросов и загруженных в него данных (результатов теста) формирует pdf или doc форму. Но автоматическая генерация отчётов должна оставаться приоритетным вариантом.
4.2
Мультимедийные кейс-тесты
Мультимедийные кейс-тесты обладают большей валидностью, чем компьютеризированные и, тем более, "бумажные". В мультимедийных кейс-тестах участник видит ситуацию в виде ролика, при этом варианты ответа предъявляются так же в текстовом формате. Этот ролик может быть как снят с живыми актёрами, так и нарисованным на "флеше" / в 3D редакторе
Кейс-тест в видео формате
Производство мультимедийных кейс-тестов более дорогостоящее, чем компьютеризированных. В случае разработки видео кейс-теста стоимость увеличивается за счёт следующих статей:
— Наём режиссёра и операторов
— Аренда студии (если съёмка происходит вне офиса)
— Покупка или аренда реквизита
— Аренда оборудования для съёмки
— Наём актёров
"Нарисованный" кейс-тест менее дорогостоящ, так как требует только художников и актёров озвучивания.
5.
Валидизация и проверка надёжности кейс-теста
Кейс-тест создан. В процессе мы проделали множество операций, которые должны обеспечить его базовую валидность и надёжность. Теперь мы можем проверить, так ли хорош наш кейс-тест, как мы о нём думаем.
Проверка надёжности. Надёжность должны быть измерена в первую очередь как внутренняя согласованность. Этот параметр отвечает на вопрос, можем ли мы быть уверены, что наш кейс-тест (или шкала) измеряет одно качество, а не распадается на несколько. В качестве метрики надёжности необходимо использовать Альфу Кронбаха. Если наш кейс-тест измеряет несколько качеств – его структуру можно проверить с помощью факторного анализа.
Проверка валидности. Кейс-тест должен быть связан с какими-то внешними критериями – результативностью, текучестью, нарушением правил. Следует скоррелировать эти показатели с результатами кейс-тестами. Кейс-тест является эффективным, если коэффициент корреляции выше 0,2. Другой подход – выделить крайние группы (сотрудники с низким и высоким уровнем результативности) и "срегрессировать" результаты кейс-теста на эти группы.
Как проверить объективные данные о результативности (KPI) на качество?
Прокоррелируйте оценку по результативности за разные года. Если корреляция ниже 0,5 – эти данные использовать нельзя. Они слишком конъюктурны: зависят от рыночной ситуации, а не от усилий человека.

Что делать, если данные о результативности низкого качества и им нельзя доверять?
Вместо прямых данных о результативности можно использовать оценку руководителем. Руководители выбирают лучших и худших сотрудников – и оценивают их по индикаторам. Важно, чтобы опрос руководителей был проведён именно в рамках валидизации кейс-теста и руководители понимали, что их оценки не повлияют на карьеру или мотивацию сотрудника. В этом случае результаты будут в меньшей степени подвержены искажениям.
Проверка достоверности. Со временем задания кейс-теста могут уйти в сеть в виде скриншотов / стать достоянием корпоративных чатов. Это поможет новым кандидатам или сотрудникам искажать свои результаты. Для проверки достоверности результатов кейс-теста необходимо раз в квартал / месяц делать срез его результатов. Если средний сырой балл по какому-то кейсу вырос – это повод его заменить.
Резюме. Как разработать эффективный кейс-тест
ЭКОПСИ Консалтинг – крупнейшая консалтинговая компания в области оценки персонала. Ежегодно мы реализовываем более 100 проектов в области оценки персонала. Вы можете скачать презентацию, посвящённую нашим психометрическим инструментам, или задать вопрос экспертам.
Что почитать по теме кейс-тестов?
В первую очередь, данное руководство :) Кроме этого, мы приведём все интересные с нашей точки зрения статьи, посвящённые кейс-тестам. Мы использовали их при подготовке данного руководства.
Российские публикации
1. Алтухов В. В. (2011). Менеджеры по продажам: подбор и достоверная оценка потенциала. Методика «CaseSales» http://maintest.ru/kb/articles/article2/
2. Лурье Е. В. (2010). Психодиагностика на службе современных кадровых технологий https://old.ht-lab.ru/cms/patent/101257-2010-05-30...
3. Лурье Е. В. (2010). Разработка теста оценки ситуаций на основе модели ситуационного руководства. https://cyberleninka.ru/article/n/razrabotka-testa...
4. Личутина Э. И. (2017). Оценка компетенций у менеджеров с помощью теста ситуативных суждений. Выпускная квалификационная работа. URL: https://dspace.spbu.ru/bitstream/11701/8265/1/VKRL...
5. Потапкин А. А. (2004). Ситуационно-операциональная решетка как метод профессиональной психодиагностики. URL: http://www.dslib.net/psixologia-truda/situacionno-...
6. Шатров Ю. И., Лурьев Е. В. (2015). Разработка кейс-тестов для оценки персонала. URL: https://rabota-psy.livejournal.com/321311.html
7. Шварева О. В. (2013). Кейс-тест: инновационное оценочное средство компетентности бакалавров. URL: https://cyberleninka.ru/article/n/keys-test-innova...
8. Шмелёв А. Г. (2006). Компьютеризированные кейс-тесты как инструмент профессиональной психодиагностики.
9. Элифханов С. Р. (2018). Использование Теста ситуативных суждений для оценки компетенции у продавцов. Выпускная квалификационная работа. URL: https://dspace.spbu.ru/bitstream/11701/13947/1/Dip...
Обзоры кейс-тестов как инструмента оценки
Corstjens, J., Lievens, F., & Krumm, S. (2017). for Selection. The Wiley Blackwell Handbook of the Psychology of Recruitment, Selection and Employee Retention.
Whetzel, D. L., & McDaniel, M. A. (2009). Situational judgment tests: An overview of current research. Human Resource Management Review, 19(3), 188-202.
Campion, M. C., Ployhart, R. E., & MacKenzie Jr, W. I. (2014). The state of research on situational judgment tests: A content analysis and directions for future research. Human Performance, 27(4), 283-310.
Oostrom, J. K., De Soete, B., & Lievens, F. (2015). Situational judgment testing. Employee recruitment, selection, and assessment: Contemporary issues for theory and practice, 172-189.
Weekley, J. A., Hawkes, B., Guenole, N., & Ployhart, R. E. (2015). Low-fidelity simulations. Annu. Rev. Organ. Psychol. Organ. Behav., 2(1), 295-322.
Точность кейс-тестов (надёжность и валидность)
Christian, M. S., Edwards, B. D., & Bradley, J. C. (2010). Situational judgment tests: Constructs assessed and a meta‐analysis of their criterion‐related validities. Personnel Psychology, 63(1), 83-117.
McDaniel, M. A., Hartman, N. S., & Grubb III, W. L. (2003). Situational judgment tests, knowledge, behavioral tendency, and validity: A meta-analysis. In 18th Annual Conference of the Society for Industrial and Organizational Psychology. Orlando.
Catano, V. M., Brochu, A., & Lamerson, C. D. (2012). Assessing the reliability of situational judgment tests used in high‐stakes situations. International Journal of Selection and Assessment, 20(3), 333-346.
Kasten, N., & Freund, P. A. (2015). A meta-analytical multilevel reliability generalization of Situational Judgment Tests (SJTs). European Journal of Psychological Assessment.
Blair, C. A., Hoffman, B. J., & Ladd, R. T. (2016). Assessment centers vs situational judgment tests: longitudinal predictors of success. Leadership & Organization Development Journal, 37(7), 899-911.
McDaniel, M. A., Psotka, J., Legree, P. J., Yost, A. P., & Weekley, J. A. (2011). Toward an understanding of situational judgment item validity and group differences. Journal of Applied Psychology, 96(2), 327.
Lievens, F., & Sackett, P. R. (2012). The validity of interpersonal skills assessment via situational judgment tests for predicting academic success and job performance. Journal of Applied Psychology, 97(2), 460.
Sackett, P. R., Shewach, O. R., & Keiser, H. N. (2017). Assessment centers versus cognitive ability tests: Challenging the conventional wisdom on criterion-related validity. Journal of Applied Psychology, 102(10), 1435.
Защищённость от обмана
Patterson, F., Ashworth, V., Kerrin, M., & O'Neill, P. (2013). Situational judgement tests represent a measurement method and can be designed to minimise coaching effects. Medical education, 47(2), 220-221.
Rostom, H., Watson, R., & Leaver, L. (2013). Situational judgement tests: the role of coaching. Medical education, 47(2), 219-219.
Lievens, F., Buyse, T., Sackett, P. R., & Connelly, B. S. (2012). The effects of coaching on situational judgment tests in high‐stakes selection. International Journal of Selection and Assessment, 20(3), 272-282.
Stemig, M. S., Sackett, P. R., & Lievens, F. (2015). Effects of organizationally endorsed coaching on performance and validity of situational judgment tests. International Journal of Selection and Assessment, 23(2), 174-181.
Linkletter, S. (2017). The effects of social desirability on situational judgment tests in organizational selection (Doctoral dissertation, Université d'Ottawa/University of Ottawa).
Kanning, U. P., & Kuhne, S. (2006). Social desirability in a multimodal personnel selection test battery. European Journal of Work and Organizational Psychology, 15(3), 241-261.
Lievens, F., & Sackett, P. R. (2007). Situational judgment tests in high-stakes settings: Issues and strategies with generating alternate forms. Journal of Applied Psychology, 92(4), 1043.
Buyse, T. (2011). The use of situational judgment tests in admission to higher education: validity and coaching effects (Doctoral dissertation, Ghent University).
Dunlop, P. (2011). If at First... Exploring the Impact of Retaking Cognitive Ability, Situational Judgement, and Personality Tests in a High-stakes Personnel Selection Scenario (Doctoral dissertation, University of Western Australia).
Восприятие участниками
Reddock, C. M. (2017). Development and test of a theory of applicant reactions to branched situational judgment tests.
Anderson, N., Salgado, J. F., & Hülsheger, U. R. (2010). Applicant reactions in selection: Comprehensive meta‐analysis into reaction generalization versus situational specificity. International Journal of Selection and Assessment, 18(3), 291-304.
Области применения кейс-тестов
Guenole, N., Chernyshenko, O., Stark, S., & Drasgow, F. (2015). Are predictions based on situational judgement tests precise enough for feedback in leadership development?. European Journal of Work and Organizational Psychology, 24(3), 433-443.
Weekley, J. A., Ployhart, R. E., & Harold, C. M. (2004). Personality and situational judgment tests across applicant and incumbent settings: An examination of validity, measurement, and subgroup differences. Human Performance, 17(4), 433-461.
Hauenstein, N. M., Findlay, R. A., & McDonald, D. P. (2010). Using situational judgment tests to assess training effectiveness: Lessons learned evaluating military equal opportunity advisor trainees. Military Psychology, 22(3), 262-281.
Cox, C. B., Barron, L. G., Davis, W., & de la Garza, B. (2017). Using situational judgment tests (SJTs) in training: Development and evaluation of a structured, low-fidelity scenario-based training method. Personnel Review, 46(1), 36-45.
Оцениваемые конструкты
Cabrera, M. A. M., & Nguyen, N. T. (2001). Situational judgment tests: A review of practice and constructs assessed. International Journal of Selection and Assessment, 9(1‐2), 103-113.
Guenole, N., Chernyshenko, O. S., & Weekly, J. (2017). On designing construct driven situational judgment tests: some preliminary recommendations. International Journal of Testing, 17(3), 234-252.
Jackson, D. J., LoPilato, A. C., Hughes, D., Guenole, N., & Shalfrooshan, A. (2017). The internal structure of situational judgement tests reflects candidate main effects: Not dimensions or situations. Journal of Occupational and Organizational Psychology, 90(1), 1-27.
Westring, A. J. F., Oswald, F. L., Schmitt, N., Drzakowski, S., Imus, A., Kim, B., & Shivpuri, S. (2009). Estimating trait and situational variance in a situational judgment test. Human Performance, 22(1), 44-63.
St‐Sauveur, C., Girouard, S., & Goyette, V. (2014). Use of situational Judgment tests in personnel selection: are the different methods for scoring the response options equivalent?. International Journal of Selection and Assessment, 22(3), 225-239.
Lievens, F., & Motowidlo, S. J. (2016). Situational judgment tests: From measures of situational judgment to measures of general domain knowledge. Industrial and Organizational Psychology, 9(1), 3-22.
Motowidlo, S. J., Lievens, F., & Ghosh, K. (2018). Prosocial implicit trait policies underlie performance on different situational judgment tests with interpersonal content. Human Performance, 31(4), 238-254.
Krumm, S., Lievens, F., Hüffmeier, J., Lipnevich, A. A., Bendels, H., & Hertel, G. (2015). How "situational" is judgment in situational judgment tests?. Journal of Applied Psychology, 100(2), 399.
Cooper, O. (2014). Construct Transparency and the Psychometric Properties of a Multidimensional Situational Judgment Test.
Christian, M. S., Edwards, B. D., & Bradley, J. C. (2010). Situational judgment tests: Constructs assessed and a meta‐analysis of their criterion‐related validities. Personnel Psychology, 63(1), 83-117.
Инструкции к кейсам
McDaniel, M. A., Hartman, N. S., Whetzel, D. L., & Grubb, W. L, III. (2007). Situational judgment tests, response instructions, and validity: A meta-analysis. Personnel Psychology, 60, 63–91.
Nguyen, N.T., Biderman, M. D., & McDaniel, M. A. (2005). Effects of response instructions on faking a situational judgment test. International Journal of Selection and Assessment, 13, 250–260.
Kelly, C. D. (2014). The effects of response instructions on situational judgment test performance in a high-stakes employment context (Doctoral dissertation).
Oostrom, J. K., Köbis, N. C., Ronay, R., & Cremers, M. (2017). False consensus in situational judgment tests: What would others do?. Journal of Research in Personality, 71, 33-45.
Ployhart, R. E., & Ehrhart, M. G. (2003). Be careful what you ask for: Effects of response instructions on the construct validity and reliability of situational judgment tests. International Journal of Selection and Assessment, 11(1), 1–16.
Lievens, F., Sackett, P. R., & Buyse, T. (2009). The effects of response instructions on situational judgment test performance and validity in a high-stakes context. Journal of Applied Psychology, 94(4), 1095.
Ключи к ответам
Stemler, S. E., Aggarwal, V., & Nithyanand, S. (2016). Knowing what NOT to do is a critical job skill: evidence from 10 different scoring methods. International Journal of Selection and Assessment, 24(3), 229-245.
Bergman, M. E., Drasgow, F., Donovan, M. A., Henning, J. B., & Juraska, S. E. (2006). Scoring situational judgment tests: Once you get the data, your troubles begin. International Journal of Selection and Assessment, 14(3), 223-235.
Форматы заданий
St‐Sauveur, C., Girouard, S., & Goyette, V. (2014). Use of situational Judgment tests in personnel selection: are the different methods for scoring the response options equivalent?. International Journal of Selection and Assessment, 22(3), 225-239.
Arthur Jr, W., Glaze, R. M., Jarrett, S. M., White, C. D., Schurig, I., & Taylor, J. E. (2014). Comparative evaluation of three situational judgment test response formats in terms of construct-related validity, subgroup differences, and susceptibility to response distortion. Journal of Applied Psychology, 99(3), 535.
Martin-Raugh, M. P., Anguiano-Carrsaco, C., Jackson, T., Brenneman, M. W., Carney, L., Barnwell, P., & Kochert, J. (2018). Effects of situational judgment test format on reliability and validity. International Journal of Testing, 18(2), 135-154.
Crook, A. E., Beier, M. E., Cox, C. B., Kell, H. J., Hanks, A. R., & Motowidlo, S. J. (2011). Measuring relationships between personality, knowledge, and performance using single‐response situational judgment tests. International Journal of Selection and Assessment, 19(4), 363-373.
Marentette, B. J., Meyers, L. S., Hurtz, G. M., & Kuang, D. C. (2012). Order effects on situational judgment test items: A case of construct‐irrelevant difficulty. International Journal of Selection and Assessment, 20(3), 319-332.
Motowidlo, S. J., Crook, A. E., Kell, H. J., & Naemi, B. (2009). Measuring procedural knowledge more simply with a single-response situational judgment test. Journal of Business and Psychology, 24(3), 281-288.
Martin, M. P. (2011). The generalizability of knowledge as measured by a single-response situational judgment test across domains (Doctoral dissertation, Rice University).
Rasmussen, J. L. (2010). Situational judgment test responding: best and worst or rate each response (Doctoral dissertation, Texas A & M University).
Механизмы вычисления баллов
Sorrel, M. A., Olea, J., Abad, F. J., de la Torre, J., Aguado, D., & Lievens, F. (2016). Validity and reliability of situational judgement test scores: A new approach based on cognitive diagnosis models. Organizational Research Methods, 19(3), 506-532.
De Leng, W. E., Stegers-Jager, K. M., Husbands, A., Dowell, J. S., Born, M. P., & Themmen, A. P. N. (2017). Scoring method of a Situational Judgment Test: influence on internal consistency reliability, adverse impact and correlation with personality?. Advances in Health Sciences Education, 22(2), 243-265.
Chiou, H., & Ou, T. L. (2013). Fuzzy composite score and situational judgement test: an integrated operation perspective of scoring. Quantitative modelling in marketing and management.
Legree, P. J., Kilcullen, R., Psotka, J., Putka, D., & Ginter, R. N. (2010). Scoring situational judgment tests using profile similarity metrics. Army research inst for the behavioral and social sciences arlington va.
Lievens, F. (2000). Development of an empirical scoring scheme for situational inventories. European Review of Applied Psychology, 50(1), 117-126.
Weng, Q. D., Yang, H., Lievens, F., & McDaniel, M. A. (2018). Optimizing the validity of situational judgment tests: The importance of scoring methods. Journal of Vocational Behavior, 104, 199-209.
Miller, D. S. (2011). The effects of scoring technique on situational judgment test validity.
Weekley, J. A., Ployhart, R. E., & Holtz, B. C. (2006). On the development of situational judgment tests: Issues in item development, scaling, and scoring. Situational Judgment Tests: Theory, Measurement, and Application, 26, 157–182
Rijmen, F. (2011). The latent class model as a measurement model for situational judgment tests. Psychologica Belgica, 51(3), 197-212.
Whelpley, C. E. (2014). How to score situational judgment tests: a theoretical approach and empirical test.
Desmarais, L.B., Masi, D.L., Olson, M.J., Barbara, K.M. and Dyer, P.J. (1994) Scoring a multimedia situational judgment test: IBM's experience. Paper presented at the Ninth Annual Conference of the Society for Industrial and Organizational Psychology, Nashville, TN, April.
MacLane, C.N., Barton, M.G., Holloway-Lundy, A.E. and Nickels, B.J. (2001). Keeping score: Expert weights on situational judgment responses. Paper presented at the 16th Annual Conference of the Society for Industrial and Organizational Psychology, San Diego, CA.
Paullin, C. and Hanson, M.A. (2001) Comparing the validity of rationally-derived and empirically-derived scoring keys for a situational judgment inventory. Paper presented at the 16th Annual Conference of the Society for Industrial and Organizational Psychology, San Diego, CA.
Форматы кейс-тестов
Chan, D., & Schmitt, N. (1997). Video-based versus paper-and-pencil method of assessment in situational judgment tests: subgroup differences in test performance and face validity perceptions. Journal of applied psychology, 82(1), 143.
Funke, U., & Schuler, H. (1998). Validity of stimulus and response components in a video test of social competence. International Journal of Selection and Assessment, 6(2), 115-123.
Lievens, F., De Corte, W., & Westerveld, L. (2015). Understanding the building blocks of selection procedures: Effects of response fidelity on performance and validity. Journal of Management, 41(6), 1604-1627.
Автор руководства
Юрий Шатров
Руководитель практики "Digital Assessment"

shatrov@ecopsy.ru
facebook.com/lopecgo