Анализ прогностичной ценности теста в подборе руководителей

Задача

есть результаты тестирования руководителей. Задача — выявить возможности подбора руководителей на основе этого теста.
В качестве output или зависимой переменной берем выполнение КПЭ. Провайдер говорит, что тест рассчитан на другое, он рассчитан на карьерный рост и потенциал развития. Я попросил сказать, а что нам выбрать в качестве зависимой переменной, ответа так и не получил. В итоге остановились на КПЭ. Логика у меня, тем не менее, простая: если показатели по тесту позволят прогнозировать результаты КПЭ, то мы и карьерный рост будем прогнозировать, ибо логично предположить, что выполнение КПЭ имеет влияние на карьерный рост (это не единственный фактор, но он должен присутствовать).

Решение

Итого у нас есть данные по % выполнения КПЭ, шкалам теста по 570 руководителям.
Проверяем распределение по шкалам.

На самом деле уже такое распределение должно насторожить исследователя: руководители явно отвечали с тенденцией давать высокие результаты по тесту. Вот сравните о шкалой другого теста по этим же руководителям

Я не силен в теории тестов, насколько понимаю, у нас как минимум две гипотезы по поводу «нашего» теста:

• Респонденты «считали» тест и отвечают социально желательно
• У нас респонденты отличаются от генеральной совокупности отвечающих на тест, поэтому у них тенденция к завышению.

По второй гипотезе сомнения потому, что второй тест дает нам почти идеальное нормальное распределение. В любом случае провайдеру стоило бы пересчитать нормы баллов под руководителей.
Но нам по большому счету по барабану, поскольку у нас простая задача: понять, можем ли мы по результатам теста прогнозировать эффективность руководителя и насколько хорошо можем это делать.
С прогнозами у нас все грустно: я использовал два алгоритма:

• xgboost 
• Ридж регрессию (кстати говоря, асимметрия и эксцесс шкал укладываются в 2 по модулю (Наследова А.Д.), поэтому можем использовать шкалы в линейных моделях.

Две картинки

Красная линия — fit — показывает, что связь практически нулевая. Линия параллельна горизонтальной линии, т.е. с возрастанием показателя теста показатели КПЭ у нас не растут.
Ну бох с ним, у нас целых несколько шкал.

На второй картинке общий результат:

• по оси X — прогнозные значения КПЭ на основе всех шкал теста;
• по оси Y — реальные значения выполнения КПЭ.

R^2 — 0, 003.
Все.
Какое управленческое решение должно последовать в этой ситуации? Очень простое: надо отказаться от использования данного теста, а провайдеру посоветовать поработать над тестом.

Источник : edwvb.blogspot.com