Стена Будро или почему в России не приживается предиктивная аналитика

В своей статье 10 трендов в Workforce Analytics директор института HR-трендов Tom Haak упоминает Стену Будро —

Формально эта Стена разделяет описательные статистики и предиктивную аналитику: отчетность и репортинг VS прогноз.
Но по факту эта стена в голове HR: это проблема мышления, а не проблема построения аналитик в компании. Эта та Стена, через которую не могут перейти многие наши коллеги, оставаясь на уровне восприятия HR-метрик как образа HR-аналитики в компании.
Рынок Стену Будро не заметил, и причина, имхо, в том, что эта «стена» именно в голове — мы не видимо своих ограничений.
Сергей Юлдашев увидел в этой Стене в основном американскую манеру приписывать себе разные «открытия»: «Скромно назвать «открытие» в честь себя мог, естественно, американец, профессор из Университета Южной Калифорнии – John Boudreau.»
Несмотря на эту американскую черту, я считаю название в честь Бодро более чем заслуженным- он обозначил то, вокруг чего многие hr-аналитики ходили кругами: сравните с моими постами на эту тему 4-х уровневая модель HR-аналитики Берзина: дорога в никуда или история одного поста.
И вот на днях Стена Бодро дала снова себя знать:

Кейс Сергиенко

В нашей бессмысленной и беспощадной дискуссии о валидности ассессмент центров практически НИКТО не снизошел до того, чтобы ознакомиться с моим анализом Кейса Сергиенко.
Напомню предысторию:

1. я задал вопросы про Российский стандарт центра оценки разработчикам Про Российский стандарт центра оценки: вопросы аналитика к авторам в декабре 2017 года;
2. Основная претензия с моей стороны касалась фразы из Стандарта: «Валидность ЦО была ранее доказана на материале многочисленных исследований.» Я просил привести ссылки на «многочисленные исследования». И меня, конечно же, интересовала прогностическая валидность;
3. Евгений Лурье как инициатор процесса создания Стандарта практически сразу мне ответил в фейсбуке, скинув несколько ссылок на исследования;
4. По факту Евгений смог привести только три ссылки на исследования, прогностической валидности касался только один кейс — кейс Сергиенко;
5. Я проанализировал все три кейса от Евгения Лурье и дал свой ответ — О валидности (точнее, невалидности) центров оценки.

В самой этой статье я предрекал, что мой пост кроме Евгения Лурье никто не будет читать, но я не знал, насколько никто его не будет читать. Даже сам Евгений Лурье, который дал мне ответ на мои вопросы к Стандарту, но при этом «не заметил» моего анализа, а просто заново привел в своем новом ответе ссылку на кейс Сергиенко.
Единственный содержательный ответ дал Юрий Тукачев в форуме Лаборатории Гуманитарные Технологии после того, как А.Г. Шмелев дал в форуме ссылку на мой пост:

» желчный пасквиль
А где по ссылке критический анализ? Увы, я его не увидел. Там есть какие выкладки, манипуляции с цифрами, объединение в одну категорию QS и MS и т.п.»

ВСЕ! Это единственный содержательный отзыв. Евгений Лурье пишет:

С.К. Сергиенко (1999) получил удовлетворительные данные о прогностической валидности ЦО в рамках проекта TACIS. Анализировалась оценка стажеров принимающими их после отбора и обучения компаниями. Центр оценки правильно предсказывал успешность прохождения стажировки в 77.5% случаев

С такой помпой рекламировали кейс, а тут приходит маргинал Бабушкин и говорит, что это липа. Хотя казалось бы: уважаемые защитники компетентностного подхода: ну дайте вы свой анализ кейса Сергиенко, чтобы заткнуть уже этого Бабушкина.

Логика кейса

Вместе с тем, для того, чтобы проанализировать кейс Сергиенко, достаточно знать начальные знания по статистике и … иметь желание разобраться беспристрастно.
И весь анализ содержится вот в этой картинке:

Что из себя представляет эта картинка? Это СВОДНАЯ ТАБЛИЦА в excel, которую умеют делать 95 % HR.
Таблица это получилась очень просто:

1. сначала команда Сергиенко оценивала стажеров, стажеры получали оценки по ассессмент центру LS — плохо, QS — средне, MS — хорошо — эта колонка в excel называлась «Результаты психолого-управленческой оценки»;
2. затем сами фирмы уже оценивали стажеров, но не компетенции, а эффективность — насколько стажер подошел / не подошел компании с т.з. исполнения деятельности — эта колонка в excel называлась «Оценка стажеров принимающими фирмами». 

Далее коллеги сделали сводную таблицу, чтобы посмотреть, насколько оценка по ассессмент центру «бьется» с оценкой компании.
На языке аналитики эта сводная таблица называется confusion matrix или матрица неточностей. Юрий Тукачев, кстати, в качестве простого инструмента анализа любит приводить четырех клеточные таблицы 2Х2, в данном случае отличие только в том, что таблица размерности 3Х6. Но логика абсолютно та же самая.
Мой анализ показывает, что данные результаты ассессмент центра позволяют сделать один вывод: с т.ч. зрения бизнеса данный АЦ не имеет смысла, единственная зацепка, которая имеет здесь смысл — 6 стажеров в правой нижней ячейке. Т.е. все стажеры, которые получили высокую оценку по АЦ, получили самую высокую оценку от компаний. Precision — 100 %, но recall — 17 %. Такая точность имеет смысл, когда мы подбираем уникальных специалистов типа космонавтов, а стажеры, насколько я могу догадаться по содержанию книги, не входят в эту категорию.

Вопрос

Так почему же на рынке так до сих пор никто не дал свой анализ этого кейса?
Это кейс — прецедент для нашего HR рынка.
И предлагаю вам задуматься вот над чем: если мы публично не можем провести анализ простого кейса, то что происходит у нас в компаниях?
Это ведь про наш рынок и про Стену Бодро в наших головах. Желаю нам скорее пробить ее и вырваться на просторы предиктивной HR-аналитики.

Источник : edwvb.blogspot.com