Тесты для оценки персонала: Как принимать кадровые решения на основе данных, а не ощущений - Юрий Шатров

Пилотирование заданий

Избыточный набор заданий должен пройти пилотирование. На этом этапе задания проверяются на адекватность — соответствие минимальным требованиям.

Большинство компаний пропускают этот этап. Часто случается так, что разработчик долго разрабатывал задания и он доволен результатом. Задания идут впрямую «на бой» — на оценку настоящих кандидатов и сотрудников. Но это ошибка — «неотпилотированные» задания могут на самом деле не работать. Они могут быть слишком трудными или простыми. Или просто не измерять знания в определенной профессии. Иными словами, тест знаний — это не просто набор вопросов, как может показаться на первый взгляд. Это инструмент, качество которого подтверждают специальные исследования.

Пилотирование проводится на выборке от 50 человек, лучше — 100 человек. В тесте проверяются следующие показатели:

• Трудность. Из теста должны быть исключены задания, на которые дают правильный ответ слишком много или, наоборот, слишком мало участников. Нижний порог всегда привязан к числу вариантов ответа: задание не должно решаться хуже, чем «методом тыка». При четырех вариантах шанс угадать — 25%, значит, исключайте задания, на которые правильно ответили меньше 30% участников пилотирования.

Верхний порог трудности — 90%. Такая асимметричность (не 25% и 75%, а именно 90%) связана с тем, что тесты знаний обычно спрашивают про вещи, которые более-менее известны в определенном кругу. Это нормально, когда на задания теста знаний правильно отвечают в среднем не 50% участников, а 60% или 65% [33].

Допустимая трудность заданий в тестах знаний

Таблица верна для заданий формата «единичный выбор». Во множественном выборе и ранжировании угадать намного труднее: правильную пару ответов из пяти вариантов можно угадать с шансом 1 к 10, правильный порядок четырех элементов — 1 к 24.

• Дискриминативность. Это то, в какой мере тест различает людей с низким уровнем владения темой и людей с высоким уровнем. Дискриминативность проверяется так: ответ на задание сопоставляется с итоговым баллом по шкале. Итоговый балл по шкале — это сумма ответов по шкале за вычетом самого задания (чтобы мы не сопоставляли сумму с ее слагаемыми и таким образом не завышали корреляцию). В тесте должны остаться задания с дискриминативностью минимум 0,2; хороший уровень — от 0,3, отличный — от 0,4.

Обычно после пилотирования исключается 20–50% заданий. Оставшиеся задания уже можно использовать для тестирования реальных кандидатов и сотрудников.

Создание системы расчета

Есть два подхода к расчету баллов в тестах знаний.

Первый подход — это КОРТ, или критериально-ориентированное тестирование. Сначала ставится пороговый балл — процент правильных ответов, который должен дать участник. В тестах знаний обычно это 70% и выше. Порог может доходить даже до 100% в случае тестирования очень чувствительных и требовательных тем, например правил безопасности. Далее вычисляется, какой процент правильных ответов дал участник, преодолел ли он порог.

Второй подход — НОРТ, или нормативно-ориентированное тестирование. В нем результат рассчитывается немного сложнее. Процент правильных ответов переводится в стандартизированную шкалу или в процентили.

• Стандартизированная шкала дает в результате нормальное распределение. Это когда большинство участников получают баллы, приближенные к средним значениям, а низкие и высокие значения имеет меньшинство участников. Стандартизированных шкал очень много, самые частые именно в HR — стены (от 1 до 10, среднее значение 5,5), станайны (от 1 до 9, среднее 5), Т-баллы (от 20 до 80, среднее 50).

• Процентили, наоборот, выравнивают распределение. Все участники получают баллы на шкале от 1 до 100 (или от 0 до 99, в зависимости от способа подсчета) — и это плоское распределение.

Иными словами, КОРТ сравнивает результат участника с каким-то порогом, а НОРТ — с другими участниками.

В большинстве тестов знаний используется КОРТ. К НОРТ прибегают, только если речь идет про изначально значительное количество людей в воронке. Если в этом случае использовать КОРТ, пороговый балл может получить слишком большое число людей. А НОРТ позволит сравнить участников друг с другом и отобрать всех, кто получил результат выше определенного балла — например, верхних 20% сотрудников. В остальном НОРТ используется во всех других тестах (тестах способностей, кейс-тестах, опросниках), и КОРТ в них не встречается.

Системы расчетов в тестах знаний

Автоматизация

Заключительный этап — перевод теста знаний на цифровую платформу.

Безусловно, тесты можно проводить и на бумаге: участники приходят в класс, помечают свои ответы ручкой, а администратор далее считает набранные баллы. Но этот формат трудоемок — необходимо вручную обрабатывать ответы. А в случае с нянями тестирование на бумаге и вовсе невозможно — его должны проходить люди из разных городов, и собрать их в одном месте не получится. Сейчас бумажное тестирование практически никем не используется, компании используют цифровые платформы.

Платформа для тестирования должна как минимум соответствовать следующим требованиям:

• Перемешивание заданий внутри теста. Если все участники будут видеть задания в одинаковой последовательности, им будет легче запомнить или списать их.

• Перемешивание ответов внутри каждого задания. Та же причина.

• Защита от искажений со стороны участника. Подробнее об этом в главе 6.

Сейчас тесты знаний переходят к более практическим и вовлекающим форматам заданий: кейсовым, заданиям с открытыми ответами и далее их обработкой с помощью ИИ, заданиям с изображениями и видео. Эти форматы делают тесты знаний — в общем, достаточно скучный вид тестирования — более вовлекающими, интересными для участников.

Как использовать тесты знаний

Тесты знаний — один из немногих видов тестирования, который измеряет уровень знаний и навыков, необходимых в повседневной работе. Остальные тесты оценивают в основном склонности и задатки. Это делает тесты знаний особенно полезными в оценке работников невысоких должностей с четким функционалом.

В целом тесты знаний используются для подтверждения квалификации сотрудника — чаще всего у представителей не менеджерских, а «исполнительских» специальностей. Задачи, в которых применяются такие тесты:

• подбор и отбор кандидатов;

• срез результатов обучения;

• аттестация;

• допуск к работе.

3.2. Тесты интеллектуальных способностей

Из всех психологических понятий «интеллект», наверное, самое известное. Когда мы описываем свой или чужой характер, в числе первых слов идет «умный» или «глупый». «Тупой» — одно из самых базовых и частых оскорблений в повседневных конфликтах.

И для оценки интеллекта существует отдельный вид теста, уверен, нам всем хорошо знакомый, — тест интеллектуальных способностей. Это самый хорошо исследованный формат тестирования. Впервые в оценке взрослых он начал применяться во время Первой мировой войны. К сегодняшнему дню проведено 20 000 исследований об эффективности тестов способностей, в которых приняло участие 5 миллионов человек [34].

Внимательный читатель может спросить: «Вы говорите про интеллект, а тесты при этом оценивают интеллектуальные способности. Так