О нелинейных методах оценки эффективности обучения
Пост родился из обсуждения в группе HRM на Линкедине Оценка эффективности корпоративногообучения.Пост является методологическим, мне важно зафиксировать свои мысли, получить обратную связь, поэтому приветствуются комментарии и критика.Вместе с тем, некие инструментальные вещи здесь присутствуют: в развитие темы Big Data в HR.Или опять же мы можем взять за основу статью Как Google стал №3 в списке самых дорогихкомпаний Мира, используя People Analytics
Если пост вам покажется скучным и водянистым, перейдите сразу к резюме в конце – немного слов в конце в качестве итогов могут принести вам пользу.
Описание кейса
К примеру, в компании проводятся тренинги по переговорам.Часто такой тренинг проводится, потому что .. руководство так посчитало нужным. Ну вот решили, что не хватает навыков переговоров и решили провести. Поставили hr-менеджера в известность, но дали задание посчитать эффективность тренинга.Или даже тренинг был в рамках программы обучения менеджеров.Проблема в измерении влияния тренинга на результаты работы. Или в оценке эффективности обучения.Или еще проще и понятней: что считать hr-менеджеру или что делать hr-менеджеру.
Линейный подход
Линейный подход в обучении заключается в измерении по оси «цель – результаты»Т.е. если мы планируем получить навыки переговоров, то мы должны отследить у участников после тренинга.
Проблемы
Часто цели поставлены так, что их просто не измеришь. Беру пример из обсуждения в группе на Линкедин, «реализуемое передовыми методами развития персонала» или «на базе лучших образцов отечественного и зарубежного опыта»Второй блок проблем связан с измерением
- Анкета обратной связи непонятно, что измеряет, и непонятно, куда ее встраивать
- Тест под отдельный тренинг не всегда создашь, и тренеры часто не готовы их создавать
- Линейный руководитель заполняет анкету HR и ставит галочки с потолка, лишь бы отвязались. И его галочки зависят чаще не от реального поведения сотрудника, а 1) лишь бы отзывались 2) напишу хорошо, чтобы не ссориться с кадровиками 3) напишу хорошо, чтобы опять послали на тренинг или плохо, чтобы не послали больше, не отвлекали от работы
Сам по себе сбор информации очень трудоемок и не вызывает оптимизма у hr-менеджера
Идеальный вариант
результат тренинга в цифрах: мы посмотрели продажи за прошлый период, посмотрели за период после тренинга и сравнилиПроблема в «очищении эффекта»: как отделить другие факторы от влияния тренинга? Сезонность, местоположение точки продаж, тренды спроса и т.п..И просто здравый смысл: неужто один тренинг может оказать сильное влияние на уровень продаж?
Нелинейная оценка эффективности корпоративного обучения
Нелинейная оценка эффективности корпоративного обучения базируется на двух принципах:
- Измеряем ЛЮБЫЕ изменения после тренинга
- Встраиваем тренинг в более широкую систему оценки эффективности
Изменения
Самым распрекрасным инструментом измерения поведения в данном случае является корпоративный портал / корпоративная социальная сеть.Этот инструмент позволяет намоптимизировать наши затраты на сбор информацииделает информацию объективной, т.е. независимой от субъективного пристрастия например линейного руководителя данного менеджераКакая информация обирается? ЛЮБАЯ. Главный параметр – изменение в сравнении с до тренинговым периодом. Например, время, проведенное на портале.Или время, проводимое на работе после тренинга. Или стал ли уходить сотрудник позже с работы после тренинга. Или раньше.Самый банальный критерий – активность в форуме тренинга, т.е. вы создаете тему форума «Тренинг продаж», где предлагаете участникам
- Делиться впечатлениями и отзывами;
- Задавать вопросы тренеру;
- Писать отчеты в блогах;
- Давать описание примененным навыкам на практике.
- И т.п..
И т.п.. может быть самым интересным. Например:Количество служебных перемещений в течение полугода / года после тренинга среди групп участников и контрольной группы (в т.ч. увольнений)И далее вы включаете любую свою самую смелую фантазию…
Система оценки
Собственно измерение изменений – это просто пилотное исследование по отношению к более высокому уровню измерений.Идеальная цель – получить уравнение зависимости между участия в тренинге и бизнес результатами.В качестве зависимой переменной у вас всегда остается какой-либо бизнес результат:
- Уровень продаж,
- Продажи через лояльных клиентов;
- Количество клиентов;
- Производительность труда;
- Скорость закрытия вакансий;
Но глобально мы имеем спектр более широких возможностей. Например, как уже было сказано, в качестве зависимой переменной у нас может выступить % уволившихся после тренинга. И получите вывод, что тренинг был причиной увольнений.
Или, вы можете найти корреляцию между предсказаниями тренера и последующими результатами. И подтвердите тренерские скилсы, как вариант.Чисто технически данные выглядят как набор данных в excel, где в колонках переменные.Если у вас есть гипотезы – вы проверяете их, сравнивая отдельные переменные между собой, или комплексы переменных.Если нет переменных, можно заниматься тупым перебором.Или начать с простого корреляционного анализа, который покажет сразу все корреляции. И даже при наличии номинативных переменных картинка может быть показательной.Кроме того, переменная, которая в одном уравнении является зависимой, в другом уравнении станет сама влияющей…В этом и есть смысл нелинейности оценки эффективности обучения:Вы не можете наперед сказать, что будет следствием, а что причиной, что зависимой, а что влияющей величиной.
О компетенциях специалиста
Конечно, 95 % hr прочитают и скажут, что это для них, поскольку требует много времени или требует много времени на освоение, или у них нет такого специалиста, или они сами не готовы осваивать этот инструментКакие нужны скилсы?К этому всему специалисту необходимы две вещи:
- Умение работать в excel + знание статистических инструментов (критерии Манн Уитни, Хи квадрат, коэффициенты Корреляции, многомерное шкалирование, регрессионный анализ и т.п..)
- Умение придумывать гипотезы, ставить задачи (фантазия)
Как показывает практика, даже если в компании есть спец по статистике, внутренний заказчик не умеет ставить задачу: а чего он собственно хочет получить?
Диагностика
Если Вам пост показался водянистым, ни о чем, если вы ждали готовых решений, а вам ничего не показали, то не беритесь за внедрение нелинейного подхода в оценке эффективности корпоративного обучения.Риски внедрения подхода в отсутствии готовых решений, преимущество: получаемый кайф от решения постоянно уникальных задач.
Источник : edwvb.blogspot.com
