Я просмотрел резюме инженеров, нанятых нами в TrialPay, за год. Самый сильный сигнал, который я смог найти, будем ли мы предлагать инженеру предложение: количество опечаток и грамматических ошибок в их резюме.
С другой стороны, где люди ходили в школу, их средний балл и высшая степень - это не имело значения вообще.
Эти результаты были довольно неожиданными. Они противоречили тому, как обычно фильтруются резюме. И они заставили меня ломать голову над тем, насколько на самом деле люди умеют выносить оценочные суждения на основе резюме.
Итак, я решил провести эксперимент. Я хотел увидеть, насколько хороши инженеры и рекрутеры в фильтрации кандидатов на основе резюме.
Что касается этого, я был почти уверен, что инженеры сделают свою работу намного лучше, чем рекрутеры. В конце концов, инженеры - технические специалисты. Им не нужно полагаться на доверенных лиц, как это делают рекрутеры.
Но случилось совсем другое. Как оказалось, люди довольно плохо фильтруют резюме - по всем направлениям. После подсчета цифр стало казаться, что резюме не могут быть особенно эффективным инструментом фильтрации.
Настраивать
Настройка была простой. Я мог бы:
- Возьмите резюме из моей коллекции.
- Удалите всю личную информацию (имя, контактную информацию, даты и т. Д.).
- Покажите их группе специалистов по подбору персонала и инженеров.
- Для каждого резюме задайте только один вопрос: Вы бы взяли интервью у этого кандидата?
По сути, каждый участник видел примерно следующее:
Если участник не хотел брать интервью у кандидата, ему нужно было написать несколько слов о том, почему. Если они действительно хотели пройти собеседование, у них также была возможность обосновать свое решение, но, чтобы не утомлять участников, я не требовал этого.
Чтобы упростить оценку, я посоветовал участникам притвориться, что они нанимают на полную или внутреннюю роль веб-разработчика, в зависимости от ситуации. Я также посоветовал участникам не слишком беспокоиться о старшинстве кандидата при вынесении суждений и исходить из того, что старшинство должности соответствует старшинству кандидата.
Для каждого резюме у меня было довольно хорошее представление о том, насколько силен рассматриваемый инженер, и я разделил резюме на две группы, основанные на силе. Чтобы сделать это суждение, я опирался на свой личный опыт - большинство резюме было составлено от кандидатов, которых я размещал (или пытался разместить) в стартапах высшего уровня. В этих случаях я точно знал, как инженеры выступали на технических собеседованиях, и, чаще всего, я мог видеть, как они выполняли свою работу впоследствии.
Остальные резюме были получены от инженеров, с которыми я работал напрямую. Вопрос заключался в том, смогут ли участники этого эксперимента выяснить, кто есть кто, прямо из резюме.
На данном этапе следует сделать заявление об отказе от ответственности. Конечно, чья-то субъективная пригодность, основанная на опыте одного рекрутера, не является оракулом инженерных способностей. С появлением большего количества данных и более тщательного анализа, возможно, эти результаты окажутся ложными. Но тебе нужно с чего-то начать.
Тем не менее, вот эксперимент в цифрах:
- В этом исследовании я использовал всего 51 резюме. 64% принадлежали сильным кандидатам.
- Всего в эксперименте приняли участие 152 человека.
Каждый участник оценил 6 произвольно выбранных резюме из первоначального набора из 51, в общей сложности 716 точек данных.
(Это число меньше 152 * 6 = 912, потому что не все участники оценили все 6 резюме.)
Если вы хотите самостоятельно провести эксперимент по вихрю, вы можете сделать это здесь.
Участники были разделены на инженеров (инженеры, которые сами участвовали в найме и найме менеджеров) и рекрутеров (как штатные, так и агентства). Было 46 рекрутеров (22 штатных и 24 агентских) и 106 инженеров (20 менеджеров по найму и 86 инженеров, не являющихся менеджерами, которые все еще участвовали в найме).
Полученные результаты
Итак, что в итоге произошло? Ниже вы можете увидеть сравнение оценок резюме для обеих групп кандидатов.
Оценка резюме - это среднее значение всех голосов, полученных за каждое резюме, где «нет» засчитывается как 0, а «да» засчитывается как 1. Пунктирная линия в каждом поле представляет собой среднее значение для каждой группы резюме - вы можете их видеть. почти то же самое. Сплошная линия - это медиана, а квадраты содержат 2-й и 3-й квартили по обе стороны от нее.
Как видите, люди не очень хорошо справлялись с этой задачей. Что вызывает серьезную тревогу, так это то, что оценки одинаковы как для сильных, так и для менее сильных кандидатов.
Другой способ взглянуть на данные - это посмотреть на распределение оценок точности. Точность в этом контексте относится к тому, сколько резюме люди смогли правильно пометить из подмножества 6, которое они видели. Как видите, результаты были очевидны.
В среднем участники угадали правильно в 53% случаев. Это было довольно удивительно. Рискуя быть бойким, согласно этим результатам, когда значительная часть людей, участвующих в приеме на работу, выносит суждения о резюме, они с таким же успехом могут подбрасывать монетку.
А как насчет производительности с разбивкой по группам участников? Вот разбивка:
- Рекрутеры агентства - 56%
- Инженеры - 54%
- Собственные рекрутеры - 52%
- Менеджеры по найму инженеров - 48%
Никакие различия между группами участников не были статистически значимыми. Другими словами, все группы справились одинаково плохо.
Ниже вы можете увидеть, насколько хорошо люди справились с каждой группой.
Чтобы попытаться понять, действительно ли люди так плохо справлялись с задачей или, возможно, сама задача была некорректной, я провел дополнительную статистику.
В частности, я хотел понять, насколько высока степень согласия между экспертами. Другими словами, при возобновлении рейтинга участники не соглашались друг с другом чаще, чем вы ожидали случайно? Если так, то даже если бы мои критерии того, принадлежит ли каждое резюме сильному кандидату, не были идеальными, результаты все равно были бы убедительными.
Как ни крути, если люди, постоянно участвующие в найме, не могут прийти к консенсусу, значит, что-то в поставленной задаче слишком двусмысленно.
Тест, который я использовал для оценки согласия между экспертами, называется каппа Флейсса. Результат находится в следующей шкале от -1 до 1:
- -1 полное несогласие; ни один оценщик не согласен с другим
- 0 случайный; оценщики с таким же успехом могли подбросить монетку
- 1 полное согласие; все оценщики согласны друг с другом
Каппа Флейса для этого набора данных составила 0,13. 0,13 близко к нулю, что означает чуть лучше, чем подбрасывание монеты. Другими словами, задача вынесения оценочных суждений на основе этих резюме, вероятно, была слишком неоднозначной для людей, чтобы справиться с этой задачей, опираясь только на данную информацию.
TL; DR Resumes может на самом деле отстой.
Несколько интересных паттернов
Помимо того, что я обнаружил, что люди не умеют судить о резюме, я смог выявить несколько интересных закономерностей.
Время не имело значения.
Мы все слышали об исследовании, которое показало, что рекрутеры тратят в среднем менее 10 секунд на резюме, и, вероятно, отнеслись к нему с недоверием. В этом эксперименте людям потребовалось гораздо больше времени, чтобы вынести оценочные суждения. В среднем на одно резюме уходит 1 минута 40 секунд. Внутренние рекрутеры работали быстрее всех, а рекрутеры агентств - медленнее. Однако то, сколько времени кто-то потратил на просмотр резюме, в целом не имеет никакого отношения к тому, правильно ли он угадает.
Для инженеров и рекрутеров важны разные вещи.
Каждый раз, когда участник считал кандидата не заслуживающим собеседования, он должен был обосновать свое решение. Хотя эти критерии явно не являются основным критерием фильтрации резюме. Если бы они были, люди бы поступили лучше.
Было интересно увидеть, что инженеры и рекрутеры искали разные вещи.
(Я создал категории ниже, исходя из причин, по которым участники отказались в полном тексте, постфактум.)
Кстати, отсутствие соответствующего опыта не относится к отсутствию опыта работы с конкретным стеком. Причины дословного отказа в этой категории, как правило, выражались в таких вещах, как «недостаточно обширные проекты», «отсутствие основных компьютерных наук» или «множество академических проектов в области электротехники, а не много в резюме о программировании или веб-разработке».
Соответствие корпоративной культуре в инженерной диаграмме означает озабоченность по поводу соответствия инженерной культуре, а не культуру в целом. Это может быть что угодно, от опасения, что кто-то, привыкший работать с технологиями Microsoft, может не оказаться дома в магазине Ruby on Rails, до беспокойства о том, что кандидат - слишком большой хакер, чтобы писать чистый, поддерживаемый код.
Разные группы лучше справлялись с разными типами резюме.
Во-первых, и это неудивительно, инженеры, как правило, немного лучше справлялись с резюме, в котором были проекты. Инженеры также лучше справлялись с резюме, которое содержало подробные и ясные объяснения того, над чем работал кандидат.
Чтобы понять, что я имею в виду под подробными и ясными объяснениями, взгляните на две версии ниже (источник: Уроки из данных о найме за год). Первое описание может применяться практически к любому проекту разработки программного обеспечения, тогда как после прочтения второго вы получите довольно хорошее представление о том, над чем работал кандидат.
С другой стороны, рекрутеры, как правило, лучше справлялись с кандидатами из ведущих компаний. Это тоже имеет смысл. Рекрутеры агентства имеют дело с огромным, разрозненным набором кандидатов, одновременно работая с большим количеством компаний. Они получат много хорошего и всестороннего понимания, включая то, какие компании имеют наивысшую инженерную планку, в каких компаниях недавно были увольнения, какие команды в конкретной компании являются самыми сильными и т. Д.
Резюме бесполезны
Итак, почему люди плохо справляются с этой задачей? Как мы видели выше, это может быть не вопрос того, насколько хорошо или плохо оценивают резюме, а скорее вопрос того, что сама задача ошибочна - в конце концов, резюме - это малоизвестный документ.
Если честно, никто толком не умеет писать резюме особенно хорошо. Многие люди получают свои первые советы по написанию резюме в отделе карьерного роста своего университета, который укомплектован людьми, которые никогда не работали в той области, которую они консультируют.
Черт, один из самых горячих советов по резюме, который я когда-либо получал, был от технического рекрутера, который настоял, чтобы я перечислял все технологии, с которыми я когда-либо работал, в каждом исследовательском проекте, который я когда-либо делал. Я покинул его офис, охваченный холодной потной паникой, отчаянно пытаясь вспомнить, какая версия Apache MIT работала в то время.
Очень умные люди - которые в остальном являются фантастическими писателями - кажется, проверяют каждую унцию интуиции и личности на пороге, а затем выпускают бездушные документы, излагающие их опыт жизненного цикла разработки программного обеспечения или чего-то еще. Они боятся, что если они будут выглядеть как человек в своем резюме или не дополнить его достаточным количеством ключевых слов, они будут исключены из числа соискателей еще до того, как инженер даже успеет просмотреть их резюме.
Кроме того, чтение резюме - утомительное и во многом неблагодарное занятие. Если это не ваша работа, вы хотите избавиться от отвлекающих факторов и вернуться к написанию кода.
Если чтение резюме - ваша работа, у вас, вероятно, есть огромная стопка, которую нужно пройти. Так что будет сложно глубоко погрузиться в работу и проекты людей, даже если у вас достаточно технических знаний, чтобы понять их - и это при условии, что они изначально включали ссылки на свою работу.
Вдобавок к этому, если потратить больше времени на то или иное резюме, возможно, даже не будет более точного результата, по крайней мере, согласно тому, что я наблюдал в этом исследовании.
Как исправить фильтрацию в начале последовательности
Предполагая, что мои результаты воспроизводимы, а люди во всем мире действительно плохо фильтруют резюме, есть несколько вещей, которые мы можем сделать, чтобы улучшить фильтрацию наверху воронки.
В краткосрочной перспективе хорошее начало - улучшение сотрудничества между разными командами, участвующими в найме. Как мы видели, инженеры лучше оценивают одни виды резюме, а рекрутеры - другие. Если в резюме есть проекты или учетная запись GitHub с перечисленным контентом, передать его инженеру для получения второго мнения, вероятно, будет хорошей идеей. И если кандидат поступает из компании с сильным брендом, но с которой вы не слишком хорошо знакомы, получение некоторой инсайдерской информации от рекрутера может быть не самым худшим делом.
В долгосрочной перспективе необходимо фундаментально изменить то, как фильтруются инженеры. В моем исследовании TrialPay я обнаружил, что, помимо грамматических ошибок, одним из наиболее важных моментов было то, насколько четко люди описывают свою работу. В этом исследовании я обнаружил, что инженеры лучше разбираются в резюме, содержащем такие описания.
Учитывая эти результаты, можно было бы больше полагаться на образец записи во время процесса фильтрации. В качестве образца письма я придумываю что-то, что не является сопроводительным письмом. Люди склонны делать это довольно шаблонным и не говорят ни о чем слишком личном или интересном. Скорее, это должно быть краткое описание того, над чем вы недавно работали, и о чем вам хочется поговорить, как это объясняется для нетехнической аудитории.
Я думаю, что нетехнический аспект аудитории имеет решающее значение, потому что, если вы можете разбить сложные концепции для понимания непрофессионала, вы, вероятно, будете хорошим коммуникатором и действительно поймете, над чем вы работали. Более того, рекрутеры могут действительно прочитать это описание и сделать ценные суждения о том, хорошо ли написано, и понимают ли они, что сделал человек.
Честно говоря, я очень надеюсь, что резюме умрет ужасной смертью. Одна из самых крутых особенностей кодирования заключается в том, что не требуется много времени или усилий, чтобы определить, может ли кто-то работать выше некоторого минимального порога. Все, что вам нужно, это Интернет и редактор кода.
Конечно, выяснить, велик ли кто-то, сложно и требуется больше времени. Но выяснить, соответствует ли кто-то минимальному стандарту - обратите внимание, тот же минимальный стандарт, который мы пытаемся соблюдать, просматривая груду резюме, - чертовски быстро.
И в свете этого полагаться на прокси с низким уровнем сигнала вообще не имеет смысла.
Я генеральный директор и соучредитель intervaling.io, платформы, где инженеры могут анонимно проводить технические собеседования и находить работу на основе результатов собеседований, а не резюме.
Хотите найти отличную работу, даже не трогая свое резюме? Присоединяйтесь к интервью.io.
