Современное техническое собеседование - это обряд посвящения для инженеров-программистов и (надеюсь!) Предвестник отличной работы. Но это также огромный источник стресса и бесконечных вопросов для новых кандидатов. Простой поиск «как подготовиться к техническому собеседованию» открывает миллионы сообщений на Medium, блоги учебных курсов по кодированию, обсуждения на Quora и целые книги.

Несмотря на все эти разговоры, людям трудно понять, как они себя чувствуют на собеседовании. В предыдущем посте мы обнаружили, что на удивление большое количество пользователей intervaling.io постоянно недооценивают свою эффективность, что делает их более склонными к выбыванию из процесса и, в конечном итоге, труднее нанимать.

Теперь, когда мы собрали значительно больше данных (более 10 тысяч собеседований, проведенных настоящими программистами!), Мы захотели углубиться в вопрос: что, по-видимому, ухудшает оценку кандидатами собственной эффективности?

Мы знаем некоторые общие факты, которые затрудняют точность: люди не всегда хорошо оценивают или даже запоминают свою работу в сложных когнитивных задачах, таких как написание кода [1]. На технических собеседованиях может быть особенно сложно судить, если кандидаты не имеют большого опыта работы с вопросами, на которые нет единственного правильного ответа.

Поскольку многие компании не делятся какими-либо подробными отзывами после собеседования (кроме ответов да / нет) с кандидатами по причинам ответственности, многие люди никогда не понимают, как они поступили, что они сделали хорошо или что могло быть лучше. [2, 3]. В самом деле, отодвигая занавес в отношении собеседований, во всей отрасли был одним из основных мотиваторов для создания интервью.io!

Но, насколько нам известно, данных о том, как именно чувствуют себя люди после настоящих собеседований такого масштаба в разных компаниях, очень мало - поэтому мы собрали их, что дало нам возможность проверить интересные отраслевые предположения об инженерах и уверенности в программировании.

Одним из важных факторов, который нас интересовал, был синдром самозванца. Синдром самозванца находит отклик у многих инженеров [4], указывая на то, что многие задаются вопросом, действительно ли они соответствуют коллегам, и игнорируют даже убедительные доказательства компетентности как случайность. Синдром самозванца может заставить нас задуматься, можем ли мы рассчитывать на положительную обратную связь, которую мы получаем, и насколько наши возможности появились благодаря нашим собственным усилиям, а не удаче.

Нас особенно интересовало, будет ли это отображаться для женщин на нашей платформе. Существует множество исследований, свидетельствующих о том, что кандидаты из недостаточно представленных слоев общества испытывают большую непричастность, которая питает синдром самозванца [5], и это может проявляться как неточность в оценке результатов собеседования.

Настройка

Interviewing.io - это платформа, на которой люди могут анонимно практиковаться в проведении технических собеседований и, если дела пойдут хорошо, получить работу в ведущих компаниях. Мы начали это, потому что резюме - отстой и потому что мы считаем, что любой, независимо от того, как он выглядит на бумаге, должен иметь возможность доказать свой характер.

Когда интервьюер и собеседник совпадают на сайте intervaling.io, они встречаются в среде совместного программирования с голосом, текстовым чатом и доской и сразу переходят к техническому вопросу (не стесняйтесь наблюдать за этим процессом в действии на нашей странице записей интервью. ). После каждого интервью люди оставляют друг другу отзывы, и каждая сторона может видеть, что другой человек сказал о них, когда они оба отправят свои отзывы.

Вот пример формы обратной связи интервьюера:

Сразу после собеседования кандидаты ответили на вопрос о том, насколько хорошо, по их мнению, они справились по той же шкале от 1 до 4:

Для этого поста мы просмотрели более 10 тысяч технических интервью, проведенных настоящими разработчиками программного обеспечения из ведущих компаний. На каждом собеседовании интервьюер оценивал кандидата по его способности решать проблемы, техническим способностям и коммуникативным навыкам, а также по тому, сможет ли интервьюер продвинуть его в следующий раунд. Это дало нам представление о том, насколько чья-то самооценка отличается от оценки, которую на самом деле дал им интервьюер, и в каком направлении. Другими словами, насколько они были искажены в их оценке по сравнению с их истинными показателями?

Зайдя внутрь, мы догадывались, что может иметь значение:

  • Пол. Будет ли женщинам труднее программировать, чем мужчинам?
  • Раньше проходил собеседование. Казалось разумным, что, оказавшись на другой стороне, можно отдернуть занавес на интервью.
  • Работа в ведущей компании. Аналогично описанному выше.
  • Быть успешным собеседником на сайте intervaling.io: люди, которые в целом являются лучшими собеседниками, могут иметь больше уверенности и осведомленности о том, что они сделали правильно (или ошиблись!)
  • Находиться в районе залива или нет. Поскольку центр технологий по-прежнему географически сосредоточен в районе залива, мы посчитали, что люди, живущие в более насыщенной инженерными науками культуре, могли бы лучше ознакомиться с профессиональными нормами проведения собеседований.
  • В самом интервью: качество вопроса и качество интервьюера. Предположительно, лучший интервьюер также лучше коммуникатор, в то время как собеседник, сбивающий с толку, может испортить полную оценку кандидатом своей работы. Мы также посмотрели, было ли это практическим собеседованием или для конкретной должности в компании.
  • Для некоторых кандидатов мы также могли бы взглянуть на несколько показателей их личного бренда в отрасли, например, на количество подписчиков на GitHub и Twitter. Может быть, люди с сильным присутствием в Интернете более уверены в себе во время интервью?

Итак, что мы обнаружили?

Женщины так же аккуратно, как и мужчины, оценивают свои технические способности

Вопреки ожиданиям в отношении пола и уверенности, мы не обнаружили достоверных статистически значимых гендерных различий в точности. Сначала казалось, что кандидаты-женщины с большей вероятностью недооценивают свою работу, но когда мы учли другие переменные, такие как опыт и оценка технических способностей, оказалось, что ключевым отличием был опыт . Более опытные инженеры точнее оценивают результаты собеседований, а мужчины с большей вероятностью будут опытными инженерами. Но опытные инженеры-женщины не менее точны в своих технических способностях.

Основываясь на предыдущих исследованиях, мы предположили, что синдром самозванца и большая непричастность могут привести к тому, что кандидаты-женщины будут наказывать за результаты собеседования, но мы не обнаружили такой закономерности [6].

Однако наш вывод перекликается с исследовательским проектом Стэнфордского института гендерных исследований Клеймана, в котором приняли участие 1795 технических работников среднего звена из высокотехнологичных компаний. Они обнаружили, что женщины, работающие в сфере высоких технологий, не обязательно менее точны при оценке собственных способностей, но имеют существенно разные представления о том, что требуется для успеха (например, долгий рабочий день и риск). Другими словами, женщины, работающие в сфере высоких технологий, могут не сомневаться в своих способностях, но могут иметь разные представления о том, чего от них ожидают.

И опрос, проведенный Harvard Business Review, в котором более тысячи профессионалов спрашивали о решениях, принятых ими при приеме на работу, также подтвердили это. Их результаты подчеркнули, что гендерные разрывы в сценариях оценки могут быть больше связаны с разными ожиданиями того, как оцениваются такие сценарии, как интервью.

Тем не менее, мы обнаружили одно интересное отличие: женщины в целом прошли меньше практических собеседований, чем мужчины. Разница была небольшая, но статистически значимая, и восходит к нашим более ранним выводам, что женщины покидают интервью с сайта интервью с сайтом примерно в 7 раз чаще, чем мужчины после неудачного интервью.

Но в том же более раннем посте мы также обнаружили, что маскировка голосов не повлияла на результаты собеседований. Вся эта группа результатов подтверждает то, что мы подозревали и что люди, проводившие углубленные исследования гендерной проблематики в технологиях, обнаружили: это сложно. Отсутствие настойчивости женщин в интервью нельзя объяснить только синдромом самозванца в отношении их собственных способностей, но все же вероятно, что они более строго интерпретируют отрицательные отзывы и делают другие предположения об интервью.

Вот распределение расстояния точности для кандидатов-женщин и кандидатов-мужчин на нашей платформе (ноль означает оценку, которая соответствует оценке интервьюера, отрицательные значения указывают на заниженную оценку, а положительные значения указывают на завышенную оценку). Две группы выглядят почти одинаково:

Что еще не имело значения?

Еще один сюрприз: участие в интервью не помогло. Даже люди, которые сами были интервьюерами, похоже, не получают от этого повышения точности.

Персональный бренд был еще одним недочетом. Люди, у которых больше подписчиков на GitHub, были не более точными, чем люди, у которых мало или совсем не было подписчиков на GitHub.

Не имеет значения и рейтинг интервьюера (т. е. насколько хорошо интервьюер был оценен их кандидатами), хотя, честно говоря, интервьюеры, как правило, оцениваются на сайте довольно высоко.

Так что же стало статистически значимым стимулом к ​​точным оценкам результатов собеседования? В основном опыт.

Опытные инженеры лучше понимают, насколько хорошо они справлялись с собеседованиями, по сравнению с инженерами в начале своей карьеры [7]. Но, похоже, не просто, что вы лучше оцениваете результаты собеседования, потому что лучше пишете код; хотя от этого есть небольшой подъем, поскольку инженеры с более высоким рейтингом более точны. Но если вы посмотрите на младших инженеров, даже самые успешные младшие кандидаты с трудом могли точно оценить свою работу. [8]

Наши данные отражают тенденцию, наблюдаемую в Опросе разработчиков Stack Overflow за 2018 год. Они задали респондентам несколько вопросов об уверенности и конкуренции с другими разработчиками и отметили, что более опытные инженеры чувствуют себя менее конкурентоспособными и более уверенными [9].

Это не обязательно удивительно: в конце концов, опыт коррелирует с уровнем квалификации, и высококвалифицированные люди, скорее всего, будут более уверены в себе. Но наш анализ позволил нам контролировать производительность и навыки программирования в профессиональных группах, и мы по-прежнему обнаружили, что опытные инженеры лучше предсказывали результаты своих собеседований.

Здесь, вероятно, есть несколько факторов: опытные инженеры прошли больше собеседований, сами проводили собеседования и имеют более сильное чувство принадлежности, и все это может бороться с синдромом самозванца.

Инсайдерские знания и контекст тоже помогают.

Находясь в районе залива и работая в ведущей компании, люди становились более точными. Как и группа опытных специалистов, инженеры, которые с большей вероятностью имеют контекстные отраслевые знания, также более точны. Мы обнаружили небольшие, но статистически значимые подъемники из-за таких факторов, как расположение в районе залива и работа в ведущей компании. Однако подъем от работы в ведущей компании, по-видимому, в основном измеряется повышением общих технических способностей: работа в ведущей компании по сути является косвенным показателем того, чтобы быть более опытным инженером с более высоким качеством.

Наконец, когда вы станете лучше проходить собеседование и перейдете на собеседование в компании, вы станете более точными.

Люди были более точны в оценке своей эффективности на собеседованиях в компании по сравнению с практическими собеседованиями, и их общий рейтинг на сайте intervaling.io также предсказал более высокую точность: более свежие меры. Люди, которые попали в первые 25%, с большей вероятностью будут точны в своих результатах собеседования.

В целом, как люди в целом оценивают эффективность своего собеседования? Мы уже смотрели на это раньше, примерно с тысячей интервью, а теперь, с десятью тысячами, вывод остается верным. Кандидаты были точны в своих оценках только в 46% интервью и недооценили себя в 35% интервью (а остальные 19%, конечно, завышают).

Тем не менее, кандидаты в целом находятся на правильном пути - это не значит, что люди, набравшие 4 балла, всегда ставят себе 1 [10]. Самооценки статистически значимы для прогнозирования фактических оценок на собеседовании (и имеют положительную корреляцию), но эта взаимосвязь неоднозначна.

Последствия

Точная оценка результатов собеседования - это сам по себе навык, который инженерам необходимо извлекать из опыта и контекста в технологической отрасли. Но мы также узнали, что многие из предположений, которые мы сделали о точности производительности, не выдержали критики - женщины-инженеры имели такое же точное представление о своих навыках, как и мужчины-инженеры, и инженеры, которые провели больше собеседований или были хорошо известны на GitHub, не особенно лучше оценивали свою работу.

Что это означает для отрасли в целом? Во-первых, синдром самозванца, похоже, представляет собой монстра с затуманенными глазами, который атакует независимо от пола и способностей, и то, насколько вы хороши, или где вы находитесь, или насколько вы знамениты, не так важно. Стаж действительно помогает немного смягчить боль, но синдром самозванца поражает всех, независимо от того, кто они и откуда.

Так что, может быть, пришло время для более доброй и чуткой культуры проведения собеседований. И культура, более доброжелательная ко всем, потому что, хотя маргинализированные группы, которые не были социализированы в ходе технических собеседований, сильнее всего страдают от недостатков в процессе собеседования, никто не застрахован от неуверенности в себе.

Ранее мы обсуждали, что делает человека хорошим интервьюером, и что сочувствие играет непропорционально большую роль. И мы увидели, что незамедлительная обратная связь после собеседования действительно важна для предотвращения выбывания кандидатов. Итак, независимо от того, руководствуетесь ли вы добротой и идеологией или холодным, жестким прагматизмом, нужно немного больше доброты и понимания по отношению к вашим кандидатам.

Кэт Хикс, автор этого гостевого поста, является исследователем и специалистом по обработке данных, специализирующимся на обучении. Она опубликовала эмпирические исследования среды обучения и вела исследования когнитивной работы инженерных команд в Google и Travr.se. Она имеет докторскую степень по психологии Калифорнийского университета в Сан-Диего.