Алексей Федоров: Количественные исследования в HR

Развлекательная социальная сетьОдноклассники

Количественные исследования в HR

Алексей Федоров

about.me/23derevo


Первые попытки


Тактика

2014

Какизмерить?

Что такое метрика?

• Числовая величина• Характеризует то, что мы измеряем

• ну хоть как-то

Современные метрики

Невозможно сосчитать

• Как измерять упоминания в твиттере?• по количеству твитов с хэштегом мероприятия?• по хэштегу и упоминанием нашего стенда или доклада?

• по количеству твитов?• по количеству лайков?• по количеству ретвитов?

• Как считать брендирование — размещение логотипа?• на ручках и блокнотах• в видео

• Как считать видео?• количество просмотров? • количество лайков?• видео с нашим логотипом• видео нашего спикера

Метрики должны быть простыми

Что такое метрика?

• Числовая величина• Характеризует то, что мы измеряем

• ну хоть как-то• Поддается разумному измерению


Коммуникации IT-компаний на рынке труда

Введение: задачи

Аналитика была направлена на решение следующих задач: • Определение основных факторов выбора на

рынке IT• Определение EVP (ценностное предложение

работодателя) IT-компаний• Определение текущего восприятия EVP IT-компаний

Введение: работы в рамках аналитикиБыли выполнены работы:• Мониторинг соц. медиа на предмет упоминаний

об HR-брендах IT-сферы• Кластеризация по факторам выбора

работодателя• Определение сравнительной важности

факторов выбора• Определение текущего EVP компаний на

основе анализа их коммуникаций

Введение: работы в рамках аналитикиБыли выполнены работы (продолжение):• Сравнение текущего EVP компаний и важности

факторов выбора для специалистов• Определение восприятия EVP IT-компаний текущими и

потенциальными сотрудниками• Сравнение важности факторов выбора работодателя,

EVP и восприятия EVP специалистами сферы IT

Введение: методология• были собраны все пользовательские отзывы об HR-

брендах IT-компаний• были рассмотрены все обнаруженные упоминания

о HR-брендах IT-сферы– была определена их тональность и тема– темы упоминаний были сгруппированы

по 8 кластерам (факторам выбора)– С помощью количественного анализа была определена

сравнительная важность факторов выбора35

Мониторинг пользовательских отзывов

Сервисы• Youscan и Яндекс.Блоги• Яндекс и Google (по запросам “бренд отзывы

о работе”, “бренд работа в компании” и т. п.)• поиск по отдельным социальным сетям

36

Мониторинг пользовательских отзывов

Результат• 401 отзыв• 904 темы упоминаний• один отзыв мог содержать несколько тем упоминаний

Какие компании попали под нашу лупу

• Microsoft• Intel• Oracle• IBM• Cisco• СберТех• Одноклассники

38

• Luxoft• Mail.ru• HeadHunter• Deutsche Bank• Devexperts• NetCracker• Grid Dynamics• JetBrains

• ABBYY• Лаборатория Касперского• EMC• EPAM• Electronic Arts • Яндекс• Google

8 факторов выбора

1. Дисциплина на работе2. Бизнес-процессы3. Рабочая среда4. Имидж компании5. Возможности для развития6. Корпоративная культура и атмосфера в коллективе7. Соблюдение ТК РФ8. Вознаграждение

39

Важность факторов выбора для специалистов

EVP компаний

Борьба бобра с ослом

Важность факторов выбора, EVP компаний, восприятие EVP специалистами

-30%

-20%

-10%

0%

10%

20%

30%

Важность

EVP

ВосприятиеEVP

Вариант голубого океана

Респонденты

45

Измерение индекса лояльности сотрудников (eNPS)

NPS

С какой вероятностью вы порекомендуете работу в компании «Одноклассники» своим друзьям или знакомым?»

от 0 до 10• 0 – минимальная вероятность рекомендации• 10 – максимальная

NPS

Респонденты были поделены на 3 группы: • 9-10 баллов — сторонники бренда• 7-8 баллов — нейтральные• 0-6 баллов — критики бренда

NPS = % сторонников - % критиков

eNPS (Одноклассники) = 57

Измерение индекса чистой лояльности кандидатов (cNPS)

50

1 0 1 1 3 6 4 7

15

27

35

40 1 2 2 3 4 5

9

17

52

0

10

20

30

40

50

60

0 1 2 3 4 5 6 7 8 9 10

Google

51

95 5 8 8

19

711 9 11 89

1 1 3 48 5

10 12 15

32

0

10

20

30

40

50

60

0 1 2 3 4 5 6 7 8 9 10

Microsoft

52

3 15 5 5

14 1117 15 15

95

1 1 3 410 10 12 14 17

23

0

10

20

30

40

50

60

0 1 2 3 4 5 6 7 8 9 10

Intel

53

3 1 3 3 310 9

13

25

16 1411

3 3 0 37 6

11 1319

23

0

10

20

30

40

50

60

0 1 2 3 4 5 6 7 8 9 10

Яндекс

54

1 0 1 1 2 5 4

1219

23

31

9 7 4 6 8

17

8 8 116

16

0

10

20

30

40

50

60

0 1 2 3 4 5 6 7 8 9 10

JetBrains

55

5 2 4 6 7

19

11 12 13 10 1073 3 4 6

139

13 13 1216

0

10

20

30

40

50

60

0 1 2 3 4 5 6 7 8 9 10

IBM

56

3 1 2 4 5

14 1115 17 15 13

7 4 5 4 613 10

14 13 1015

0

10

20

30

40

50

60

0 1 2 3 4 5 6 7 8 9 10

Oracle

57

3 2 3 6 713

913 16 15 15

104 4 4 4

127

1115 15 14

0

10

20

30

40

50

60

0 1 2 3 4 5 6 7 8 9 10

Facebook

58

73 5

9 1017

12 1015

93

12

3 5 6 512 10 10 13 12 13

0

10

20

30

40

50

60

0 1 2 3 4 5 6 7 8 9 10

ВКонтакте

59

6 5 6 8 9

24

9 10 10 8 512

7 610 7

158

1

12 10 13

0

10

20

30

40

50

60

0 1 2 3 4 5 6 7 8 9 10

Wargaming

60

83 5

9 9

1913 13 11

5 3

147 5 6 8

1410

1

1410 11

0

10

20

30

40

50

60

0 1 2 3 4 5 6 7 8 9 10

Лаборатория Касперского

61

4 5 5 8 7

29

11 12 106 3

16

6 6 9

1

1811 10 9 7 7

0

10

20

30

40

50

60

0 1 2 3 4 5 6 7 8 9 10

ABBYY

62

62 5

9 815

9

1713

9 7

20

9 8 8 8

16

8 9

16 7

0

10

20

30

40

50

60

0 1 2 3 4 5 6 7 8 9 10

Deutsche Bank

63

115

9 8 913 13 13 11

5 2

31

6 7 7 610 7 7 8

4 6

0

10

20

30

40

50

60

0 1 2 3 4 5 6 7 8 9 10

Mail.ru

64

17

812 12 14 17

7 7 4 1 0

33

9 9 12

0

116 7 4 3 5

0

10

20

30

40

50

60

0 1 2 3 4 5 6 7 8 9 10

Сбербанк

65

104

9 11 9

19

10 117

37

19

8 9 10 10

18

7 6 5 4 4

0

10

20

30

40

50

60

0 1 2 3 4 5 6 7 8 9 10

Luxoft

66

94

8 8 10

27

9 10 11

3 1

18

9 7 10 10

23

7 6 4 2 4

0

10

20

30

40

50

60

0 1 2 3 4 5 6 7 8 9 10

T-Systems

67

139 12

1610

26

6 4 2 1 0

25

10 10 11 10 137 5 3 2 4

0

10

20

30

40

50

60

0 1 2 3 4 5 6 7 8 9 10

Билайн

68

12 11 11 10 12

27

7 4 3 2 2

24

12 10 10 1017

4 4 3 2 4

0

10

20

30

40

50

60

0 1 2 3 4 5 6 7 8 9 10

КРОК

69

73

8 7 8

1713 16

116 5

41

11 9 9 610

3 4 3 1 20

10

20

30

40

50

60

0 1 2 3 4 5 6 7 8 9 10

Одноклассники

70

71Средняя оценка (ответы широкой аудитории IT-

специалистов)

71

2,3

3,2 3,2 3,33,7 3,9 3,9

4,24,7

5,3 5,4 5,6 5,86,1 6,1 6,3

6,67,1 7,1

8,4

0

1

2

3

4

5

6

7

8

9

72Средняя оценка (ответы, полученные в результате партнерской рассылки)

72

3,5 3,53,7

4,8 4,8 4,85,2 5,2 5,2 5,3 5,3 5,4

5,8 6,06,5 6,6 6,7

7,1

8,2 8,3

0,0

1,0

2,0

3,0

4,0

5,0

6,0

7,0

8,0

9,0

73 Средняя оценка (общее)

73

2,3

3,2 3,2 3,33,7 3,9 3,9

4,24,7

5,3 5,4 5,6 5,86,1 6,1 6,3

6,67,1 7,1

8,4

5,3

3,53,7

3,5

4,8 4,8 4,8

5,85,2 5,2 5,2

8,2

5,4

6,6 6,7

6,0

7,1

5,3

6,5

8,3

0

1

2

3

4

5

6

7

8

9

74Индекс чистой лояльности кандидатов (cNPS)

74

-81-74

-82-77 -73

-58-66

-39 -37

-26

-87

14

-60

-17

5

-25-17

3

-36

52

-91 -87 -85

-69-62 -60 -60 -58 -55 -52 -51

-43-37 -34

-20-13 -13

-2

4046

-100

-80

-60

-40

-20

0

20

40

60

cNPS: выводы• Показатель cNPS подавляющего большинства IT-

компаний крайне мал– У Одноклассников — совсем беда

• Узкий круг IT-специалистов более лоялен Одноклассникам, потому что лучше осведомлен о ее EVP

• Среди широкой аудитории HR-бренд есть только у Google

• Среди аудитории, с которой Одноклассники плотно работают, HR-бренд есть у Google и JetBrains


Найм с конференции

Полная воронка продаж в HR• узнал, что мы есть

• узнал, чем мы занимаемся• прислал резюме

• пришел на собеседование• прошел первое собеседование

• …• принял оффер

• вышел на работу

Полная воронка продаж в HRузнал, что мы есть

• узнал, чем мы занимаемся• прислал резюме

• пришел на собеседование• прошел первое собеседование

• …• принял оффер

• вышел на работу• прошел испытат. срок

• проработал год• проработал 4 года

• проработал 10 лет

• привел друзей и бывших коллег

• похвастался жене и родителям

• похвастался инструктору в фитнес-центре


Каналы


Работа на внешнюю аудиторию

Конференции

2015-2016• 10 спикеров• 16 конференций• 25 докладов

2014-2015• 8 спикеров• 10 конференций• 15 докладов

Хабрахабр

2014-2015• 3 автора• 4 статьи• +138 рейтинг• 75К просмотров

2015-2016• 5 авторов• 6 статей• +253 рейтинг• 170К просмотров

86

Динамика по широкой аудитории — NPS

-100

-80

-60

-40

-20

0

20

40

60

80

Сбербанк Mail.ru Kaspersky OK Wargaming ВКонтакте Microsoft Intel Oracle Яндекс Facebook JetBrains Google

2015 2016

87Динамика по узкой аудитории — NPS

-100

-80

-60

-40

-20

0

20

40

60

Сбербанк Mail.ru Kaspersky OK Wargaming ВКонтакте Microsoft Intel Oracle Яндекс Facebook JetBrains Google

#REF! 2015 2016

88

Восприятие Одноклассников снаружи

• Метрика хорошая- корреляция 2015 vs 2016 — фантастическая: 0.98

• Широкая аудитория за год стала нас воспринимать чуть лучше

• Более профильная аудитория— чуть хуже- все изменения — на уровне статистической

погрешности


Лояльность сотрудников

90

Вопросы по лояльности (1-5)

1. НаскольковамнравитсяработатьвОдноклассниках?2. Каковавероятность,чтовыпорекомендуетеработув

Одноклассникахсвоимдрузьямибывшимколлегам?3. Большинствомоихзадачдействительноинтересны,поэтому

надихрешениемприятноработать4. БольшинстворешенийвОдноклассникахпринимаютсяс

учетомвсехфакторов(технологий,дизайна,бизнеса,…)иявляютсяоптимальными

5. Вколлективесчитаютсясмоимпрофессиональныммнением

91


6. Вмоейкомандесложиласькомфортнаярабочаяатмосфера7. Втечениепрошлогогодауменябылавозможностьучитьсяи

профессиональнорастинаработе8. Мойнепосредственныйруководительилинаставник

заботитсяобомнекаколичности9. Мойрабочийграфикменяполностьюустраивает10. Моянагрузканаработеявляетсяразумнойисправедливой

92


11. Получаемоемноюматериальноевознаграждениесоответствуетмоемупрофессиональномууровню

12. Получаемыйпрактическийопытпозволяетмнеповышатьсвойпрофессиональныйуровень

13. Уменяестьвозможностьежедневнозаниматьсянаработетем,чтоуменяполучаетсялучшевсего

14. Явижуипонимаювзаимосвязьмеждузадачами,надкоторымияработаю,ицелямиОдноклассников

93


15. Ядоволенпрофессиональнымиотношениямисосвоимнепосредственнымруководителем

16. Язнаюсвоиобязанностиичтоименноотменяожидаютнаработе

17. Ямогуоткрытовысказыватьсвоёмнениеотом,чтопроисходитвОдноклассниках,ирассчитыватьнатакуюжеоткрытостьвответ

18. Ямогурассчитыватьнаподдержкусвоегоруководителявовсем,чтокасаетсямоейработы

19. Ясчитаю,чтомыделаемкачественныеинужныелюдямпродукты/сервисы

94

4,0

4,5

5,0

5,5

6,0

6,5

Вопросы по лояльности

95

4,7

5,15,2

БОЛЬШИНСТВОРЕШЕНИЙВОДНОКЛАССНИКАХПРИНИМАЮТСЯС

УЧЕТОМВСЕХФАКТОРОВ

ВОЗНАГРАЖДЕНИЕСООТВЕТСТВУЕТМОЕМУПРОФЕССИОНАЛЬНОМУУРОВНЮ

ЯМОГУОТКРЫТОВЫСКАЗЫВАТЬСВОЁМНЕНИЕИРАССЧИТЫВАТЬНАТАКУЮЖЕ

ОТКРЫТОСТЬВОТВЕТ

Минимумы


По городам

97NPS по городам

66

50

68

31

6157 56

-9МОСКВА ПИТЕР РИГА НИЖНИЙ

2015 2016

98 «Получаемое мною вознаграждение соответствует моему профессиональному уровню»

4,95,1

5,6

4,8

Москва Питер Рига Нижний


По профессиям

100NPS по профессиям

5055 59

78

-10

56

88

Менеджер Разработчик+DWH

Тестировщик Админ Тех.поддержка ВерстальщикилиДизайнер

Маркетинг+PR

101Выводы по лояльности

• Наскольконравитсяработать?- всеок

• Насколькоготовырекомендовать?- Москва,Рига,Питер— ОК- НижнийНовгород— совсембеда

• Зарплаты- Рига— довольнысильнее,чемПитер,МоскваиНН


Взаимосвязи

103

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 191Нравитсяработать 1 0,54 0,53 0,36 0,28 0,28 0,44 0,34 0,23 0,26 0,28 0,51 0,47 0,37 0,3 0,33 0,32 0,29 0,432Вероятность,чтопорекомендуете 0,54 1 0,3 0,14 0,32 0,1 0,24 0,19 0,19 0,21 0,18 0,35 0,38 0,21 0,23 0,08 0,26 0,15 0,233Интересностьзадач 0,53 0,3 1 0,3 0,3 0,31 0,46 0,44 0,29 0,16 0,22 0,54 0,55 0,3 0,43 0,26 0,36 0,47 0,384Оптимальностьрешений 0,36 0,14 0,3 1 0,23 0,31 0,25 0,34 0,16 0,22 0,35 0,32 0,26 0,46 0,28 0,28 0,44 0,34 0,525Считаютсясмоиммнением 0,28 0,32 0,3 0,23 1 0,4 0,3 0,29 0,16 0,19 0,15 0,26 0,44 0,25 0,34 0,29 0,47 0,29 0,336Комфортнаяатмосферавкоманде 0,28 0,1 0,31 0,31 0,4 1 0,34 0,38 0,28 0,18 0,15 0,27 0,33 0,26 0,43 0,35 0,37 0,47 0,37Возможностьучитьсяирасти 0,44 0,24 0,46 0,25 0,3 0,34 1 0,4 0,24 0,22 0,29 0,62 0,33 0,27 0,41 0,25 0,27 0,43 0,258Руководительзаботитсяобомне 0,34 0,19 0,44 0,34 0,29 0,38 0,4 1 0,15 0,18 0,18 0,32 0,26 0,21 0,63 0,35 0,4 0,6 0,249Графикустраивает 0,23 0,19 0,29 0,16 0,16 0,28 0,24 0,15 1 0,39 0,27 0,18 0,27 0,09 0,22 0,19 0,22 0,21 0,17

10Нагрузкаразумнаисправедлива 0,26 0,21 0,16 0,22 0,19 0,18 0,22 0,18 0,39 1 0,34 0,15 0,22 0,17 0,25 0,2 0,23 0,21 0,1511Зарплатасоответствует 0,28 0,18 0,22 0,35 0,15 0,15 0,29 0,18 0,27 0,34 1 0,34 0,2 0,25 0,18 0,07 0,24 0,18 0,1812Опытпозволяетповышатьуровень 0,51 0,35 0,54 0,32 0,26 0,27 0,62 0,32 0,18 0,15 0,34 1 0,44 0,31 0,4 0,16 0,31 0,37 0,2813Занимаюсьтем,чтоделаюлучшевсего 0,47 0,38 0,55 0,26 0,44 0,33 0,33 0,26 0,27 0,22 0,2 0,44 1 0,25 0,3 0,3 0,4 0,27 0,4214СвязьмеждумоейработойицелямиОК 0,37 0,21 0,3 0,46 0,25 0,26 0,27 0,21 0,09 0,17 0,25 0,31 0,25 1 0,24 0,3 0,35 0,31 0,415Доволенотношениямисруководителем 0,3 0,23 0,43 0,28 0,34 0,43 0,41 0,63 0,22 0,25 0,18 0,4 0,3 0,24 1 0,46 0,42 0,74 0,216Знаюсвоиобязанности 0,33 0,08 0,26 0,28 0,29 0,35 0,25 0,35 0,19 0,2 0,07 0,16 0,3 0,3 0,46 1 0,3 0,38 0,217Могуоткрытовысказываться 0,32 0,26 0,36 0,44 0,47 0,37 0,27 0,4 0,22 0,23 0,24 0,31 0,4 0,35 0,42 0,3 1 0,44 0,3618Начальникменяподдерживает 0,29 0,15 0,47 0,34 0,29 0,47 0,43 0,6 0,21 0,21 0,18 0,37 0,27 0,31 0,74 0,38 0,44 1 0,23

19Мыделаемкачественныеинужныесервисы 0,43 0,23 0,38 0,52 0,33 0,3 0,25 0,24 0,17 0,15 0,18 0,28 0,42 0,4 0,2 0,2 0,36 0,23 1

Корреляционнаяматрица

О регрессионных моделях• Было построено 2 модели

1. независ. переменная — насколько нравится работать?

2. назависимая переменная — насколько готовы рекомендовать?

• При этом у них слабая объяcнительная сила

– насколько нравится работать? — R2=0.47 — средняя

– насколько готовы рекомендовать? — R2=0.25 — слабая

105 Весовые коэффициентыВопрос УдовлБольшинствомоихзадачдействительноинтересны,поэтомунадихрешениемприятноработать0,16БольшинстворешенийвОдноклассникахпринимаютсясучетомвсехфакторов(технологий,дизайна,бизнеса,…)иявляютсяоптимальными 0,01В коллективе считаются с моим профессиональным мнением -0,02В моей команде сложилась комфортная рабочая атмосфера -0,02Втечениепрошлогогодауменябылавозможностьучитьсяипрофессиональнорастинаработе0,06Мойнепосредственныйруководительилинаставникзаботитсяобомнекаколичности0,06Мой рабочий график меня полностью устраивает -0,01Моя нагрузка на работе является разумной и справедливой 0,09Получаемоемноюматериальноевознаграждениесоответствуетмоемупрофессиональномууровню0,03Получаемыйпрактическийопытпозволяетмнеповышатьсвойпрофессиональныйуровень0,14Уменяестьвозможностьежедневнозаниматьсянаработетем,чтоуменяполучаетсялучшевсего0,10Явижуипонимаювзаимосвязьмеждузадачами,надкоторымияработаю,ицелямиОдноклассников0,07Ядоволенпрофессиональнымиотношениямисосвоимнепосредственнымруководителем-0,12Язнаюсвоиобязанностиичтоименноотменяожидаютнаработе 0,18Ямогуоткрытовысказыватьсвоёмнениеотом,чтопроисходитвОдноклассниках,ирассчитыватьнатакуюжеоткрытостьвответ -0,01Ясчитаю,чтомыделаемкачественныеинужныелюдямпродукты/сервисы 0,15

106 Весовыекоэффициенты

Названиедиаграммы

Среднее Коэффициент

107

Рекомендации HR и менеджерам

• Сотрудники работают не над чем дадут, а над тем, в чем они разбираются лучше всего

• Четче объяснять ожидаемый результат

• Определить, что такое «профессиональный рост» и наметить с каждым сотрудником направления его развития

• Сделать среду общения более открытой, чтобы люди перестали бояться критиковать и высказываться


Выводы

Выводы про метрики HR-бренда

• Классическая — количество входящих резюме на HeadHunter-е за год- минус: зависит от изменения ваших вакансий

• Воронки по каналам (хабр, конференции, рекрутеры нашли, реферрал и т.п.)

• NPS-подобные метрики

Выводы

• Чтобы чем-то управлять нужно научиться это что-то измерять

• В измерениях много подводных камней

• Реальность не будет соответствовать вашим ожиданиям

• Начинать нужно с построения гипотез

• Гипотезы нужно проверять

• Существуют статистические методы- например, регрессионный анализ- иногда они даже могут помочь

Ложь, наглая ложь и статистика

v.ok.ru

Алексей Федоров

about.me/23derevo

Education

Алексей Федоров: Количественные исследования в HR