Как понять, работают ли Ваши инструменты оценки? Важность валидизационных исследований в области оценки персонала
В данной статье я бы хотела рассказать о важности проведения валидизационных исследований для инструментов, используемых в оценке персонала. На данный момент на рынке оценки сложилась следующая ситуация – многие компании внедрили в свою практику использование тестов, личностных опросников, а также ассессмент центров (они же Центры оценки) в рамках деятельности по управлению персоналом.
В то же время редкие, я бы сказала, единичные компании задаются вопросом — а так ли хороши эти инструменты? Как выбрать наиболее подходящий формат диагностики персонала именно для вашей компании? И, самое главное, — какую пользу они приносят? Часто мы, консультанты, видим, что компании начинают использовать современные подходы в оценке, следуя просто модному течению, т.к. многие считают, что выпадают из тренда, если, например, не использую тесты способностей при подборе нового персонала.
Результаты таких опытов могут быть скорее плачевными, чем радостными. Формируется недовольство и непонимание этих процедур как руководством, так и теми, кого непосредственно оценивали, а в итоге тесты и Ассессмент центры становятся формальной процедурой, которая, к сожалению, почти ни на что не влияет.
Ряд компаний обращаются с данным вопросом к поставщикам услуг по оценке и ожидают от них многочисленных доказательств эффективности различных инструментов. Это правильный ход, однако, не позволяющий быть уверенными в успехе. Зарекомендовавшие себя консалтинговые компании, конечно же, регулярно проводят различные исследования, подтверждающие качество их инструментов. Однако есть ряд вещей, которые можно сделать только внутри компании.
В данном статье я бы не хотела останавливаться на каком-то одном исследовании, а описать несколько примеров, чтобы показать все то разнообразие выводов и открытий, которые можно получить при обработке результатов диагностики персонала.
Терминология
Несколько важных терминов, которые будут фигурировать в данной статье.
- Психометрические инструменты – стандартизованные инструменты (тесы, опросники), результаты которых представлены в числовом виде.
- Тесты способностей. Они оценивают уровень развития базовых аналитических навыков по обработке информации. Чаще всего используются тесты вербальной и числовой способности.
- Опросники (личностные и мотивационные). Показывают индивидуальные особенности людей через призму их склонностей, предпочтений и тенденции действовать так, а не иначе, и дают информацию об их потребностях и мотивах действий;
- Ассессмент Центр или Центр оценки – процедура с использованием различных инструментов, основными из которых являются симуляционные упражнения или игры. В основе Ассессмент центра лежит принципы множественности – множество упражнений, наблюдателей, критериев оценки и непосредственно участников.
- Компетенция — это репертуар поведенческих реакций, которые позволяют людям эффективнее достигать рабочих целей.
- Корреляция – взаимосвязь между двумя или более величинами. Коэффициент корреляции может принимать значения от -1 до 1.
- Валидность. Тест, опросник, интервью или любая другая методика оценки является валидной в той степени, в которой она согласуется с результатами работы и/или обучения (т.е. имеет значимый уровень корреляции).
- Уровень статистической значимости – такое значение корреляции для определённой выборки, при котором процент ошибки или случайности минимален, имеет значение – 0,01 и 0,05(1% и 5%). Другими словами минимальное значение корреляции, при котором мы можем сказать «связь есть» с вероятностью в 99% или 95% соответственно.
Тема 1. Как проводить исследование?
Для проведения базового исследования взаимосвязей не нужно владеть сложными навыками или уметь пользоваться специальными программами. Для расчета корреляций вам нужно иметь два типа измерений. Один из них – это, как правило, результаты оценки способностей, мотивации, личностных особенностей, второй – результаты эффективности работы (тех же сотрудников). Имея такие два ряда данных, можно высчитать между ними корреляцию воспользовавшись готовыми формулами, например, в Excel.
Сложностью может стать нахождение и выбор критериев эффективности. У ряда компаний есть система индивидуальных KPI, у других их нет. Такими показателями может служить:
- Количество произведенной продукции
- Процент брака
- Трудовой стаж
- Количество повышений
- Финансовые показатели
- Количество жалоб
- Результаты теста по выполнению элементов работы
- Оценка результатов обучения
- Оценки, полученные при аттестации
- Оценка работы руководителем
- Различные рейтинги
- Оценка компетенций
Тема 2. Тесты способностей
Наиболее частый вывод во многих исследованиях – это высокая взаимосвязь уровня базовых аналитических способностей с эффективным поведением. Ниже приводятся данные нескольких исследований разных компаний, где отражены корреляции тестов с различными компетенциями.
Кейс 1. Крупная российская нефтегазовая компания, руководители топ-уровня
| Компетенции | Вербальный тест (VMG4) | Числовой тест (NMG4) |
| Достижение результата | 0,40 | |
| Анализ и решение проблем | 0,40 | 0,38 |
| Организация деятельности | 0,37 | |
| Следование стандартам | 0,38 | |
| Корреляция между тестами | 0,43 |
*Уровень значимости корреляции – 0,01
Кейс 2. Смешанная группа из разных секторов бизнеса и различных позиций
| Компетенции | Вербальный тест (VMG4) | Числовой тест (NMG4) |
| Инновативность | 0,33 | |
| Ориентация на результат | 0,43 | 0,33 |
| Понимание коммерческих принципов | 0,31 | 0,36 |
| Анализ и решение проблем | 0,36 | 0,30 |
| Корреляция между тестами | 0,57 |
*Уровень значимости корреляции – 0,01
Кейс 3. Крупная российская нефтегазовая компания, руководители среднего звена
Было проведено исследование корреляции между тестами способностей и показателем эффективности сотрудников. По итогам исследования выявлено, что тесты NMG (тест числовых способностей) и VMG4 (тест числовых способностей) не имеют значимой корреляции с оценкой руководителя.
- Вывод 1. Большинство исследований показывает высокую взаимосвязь уровня способностей и эффективного поведения, что говорит о высокой прогностичности данного инструмента в качестве способа отбора.
Тема 3. Личностные особенности
В нашем подходе к оценке мы принимаем, что личностные особенности, характер человека, его склонности имеют большое влияние на его поведение в работе. Несмотря на то, что наше поведение определяет, в том числе и мотивация, и наш опыт, знания, навыки и то окружение, в котором мы находимся, тем не менее, индивидуальные черты являются самой стабильной нашей характеристикой и в той или иной степени проявляются в деятельности. Ниже представлены результаты исследований, демонстрирующих взаимосвязи между личностными чертами и компетенциями, а также результатами работы.
Кейс 1. Смешанная группа из разных секторов бизнеса и различных позиций
| Компетенция | Личностная черта | Коэффициент |
| Лидерство | Контроль (стремление руководить, нести ответственность, давать указания) | 0,24 |
| Лидерство | Живость (общительность) | 0,14 |
| Убедительность в общении | Оказание влияния | 0, 27 |
| Убедительность в общении | Живость (общительность) | 0,23 |
| Убедительность в общении | Социальная уверенность | 0, 26 |
| Убедительность в общении | Внимание к деталям | -0,23 |
| Анализ и решение проблем | Интерес к точным данным (цифрам) | 0, 25 |
| Анализ и решение проблем | Критичность | 0,24 |
| Анализ и решение проблем | Концептуализм | 0,15 |
| Анализ и решение проблем | Принадлежность к группе | -0,20 |
| Межличностная чувствительность | Принадлежность к группе | 0,14 |
| Межличностная чувствительность | Демократизм | 0,14 |
| Межличностная чувствительность | Заботливость | 0,23 |
| Межличностная чувствительность | Соревновательность | — 0,18 |
*Уровень значимости корреляции – 0,01
Стоит обратить внимание на корреляции со знаком минус, это говорит об обратной корреляции. Например, эффективность в аспекте «Анализа и решения проблем» будет тем ниже, чем выше у человека выражена склонность работать в команде, выстраивать отношения, т.к существует вероятность, что человек с такой склонностью предпочитает решать задачи в общении больше, чем с помощью анализа данных.
Кейс 2. Российская телекоммуникационная компания, руководители топ-уровня
| Компетенция | Личностная черта | Коэффициент |
| Стратегическое видение | Забота | -0,20 |
| Стратегическое видение | Решительность | 0,17 |
| Аналитическое мышление | Принадлежность к группе | -0,22 |
| Аналитическое мышление | Забота | -0,27 |
| Аналитическое мышление | Интерес к оцениванию (критичность) | 0,22 |
| Достижение результата | Демократизм | 0,15 |
| Достижение результата | Забота | -0,16 |
| Достижение результата | Внимание к деталям | -0,20 |
| Достижение результата | Следование правилам | -0,26 |
| Руководство людьми | Живость (общительность) | 0,16 |
| Руководство людьми | Скромность | -0,15 |
| Руководство людьми | Следование правилам | -0,25 |
*Уровень значимости корреляции – 0,01
Кейс 3. Крупная российская нефтегазовая компания, руководители цехов
| Личностная черта | Коэффициент | |
| Общий показатель эффективности | Скромность | 0,43 |
| Традиционализм | 0,32 | |
| Концептуализм | -0,45 | |
| Планирование | -0,32 |
*Уровень значимости корреляции – 0,01
Также данные личностных и мотивационных опросников могут показать общие тенденции в компании, ярко выраженные черты у всех сотрудников, что является наглядной демонстрацией корпоративной культуры.
- Вывод 2. Для различных компаний различные личностные черты людей, мотивы будут лежать в основе их эффективности работы в конкретной организации. Часты ситуации, когда одни личностные особенности будут являться основой, источником высоких результатов в работе в одной компании и те же особенности будут снижать их — в другой.
Тема 4. Моделирование компетенций
Отдельно мне бы хотелось затронуть еще одну острую тему. Большинство компаний на сегодняшний день имеют как важный атрибут или стандарт своей работы — корпоративные модели компетенций. Эти модели описывают ожидаемое от сотрудников поведение (в данной конкретной компании, которое они должны демонстрировать в работе и которое призвано усилить их эффективность.
Чтобы разработать модель компетенций, можно идти двумя путями:
- 1. Легкий подход
Взять универсальные модели или словари и выбрать «нужные» для своей компании. Как правило, таким «выбором» занимается отдел персонала, иногда с привлечением некоторых руководителей. Такие модели можно назвать несколько искусственными, так как они строятся на субъективных мнениях и порой имеют мало отношения к реальному поведению, которое ведет к успеху. С такого подхода можно начинать, если в компании до этого не было вообще компетенций и пока еще не сформирована культура по их использованию в работе.
- 2. Сложный, методологический подход
В частности наша компания использует и рекомендует данный подход. Он основывается на детальном изучении поведения реальных сотрудников компании, которые при этом являются высокоэффективными. По сути, он позволяет смоделировать универсальную «ролевую модель», но не в целом, а для конкретной компании. Данный метод, безусловно, гораздо более ресурсозатратный, на создание модели таким образом может уйти 1-2 месяца. Однако эти усилия оправдывают себя. На выходе мы имеем уникальную модель, описывающую особенности конкретно взятой компании, к данной модели больше доверия, т.к. в ее создании участвовали многие сотрудники.
Встает вопрос – а стоит ли результат таких усилий?
Недавно у нас появилась возможность провести исследование эффективности двух типов модели в одной компании.
Кейс 1. Российская нефтегазовая компания
В рамках этого исследования проводились идентичные замеры в отношении корреляции между отдельными пунктами модели и показателями эффективности сотрудников. У компании уже была разработанная модель для одной категории специалистов (созданная с привлечением внешних консультантов с детальным сбором большого количества данных) и была создана своими силами модель для другой категории работников (прописанная отделом персонала на основании общего понимания требований к данной должности). Руководителям этих сотрудников были предложены анкеты, в которых от них требовалось оценить эффективность сотрудников по нескольким показателям в целом и по каждому индикатору. Итоговые результаты оказались следующими: в первой модели все индикаторы (кроме одного, нацеленного на перспективу) показали значимые корреляции с итоговой эффективностью. Во второй модели только 60% индикаторов показали подобные результаты.
- Вывод 3. Для создания моделей компетенций требуется значительная подготовка и крайне желательно использование проверенных и надежных методов. При создании модели следует валидизировать ее и убеждаться в том, что она работает.
Рекомендации
Основная рекомендация, которую я хотела бы дать очень проста — делайте свои исследования инструментов оценки, которые вы используете, не полагайтесь только на исследования разработчиков. Помните, что у консалтинговых компаний, которые продают различные тестовые методики, нет доступа ко всей внутренней информации ваших бизнесов и им (нам, SHL, в частности) сложно, а порой невозможно провести глубинный анализ.
Сделав собственную аналитику можно:
- Лучше понимать особенности компании, корпоративную культуру
- Выстроить профиль успешных сотрудников и заложить его в основу подбора персонала
- Выбрать нужные, эффективные, а не модные инструменты оценки
Заключение
Все компании разные, т.к. имеют свою уникальную историю, рынок на котором работают, продукцию, клиентов, ценности, миссию, особенности руководства и т.д. Как результат для разных компаний «подходят» разные люди. Увы, нет единого идеального рецепта высокой эффективности и результативности. Валидизационные исследования дают наглядную и объективную (в цифрах) картину требований и тенденций в каждой конкретной компании.
Источник : hrdocs.ru
