Машинное обучение везде, куда ни глянь, затрагивая многие технологии и продукты, которые мы используем ежедневно. Но кто такие продакт-менеджеры, ведущие эти продукты? Кто обеспечивает правильную и этичную установку показателей успеха? Кто отвечает за точную информацию о таких продуктах?

Вернемся на несколько лет назад и посмотрим на роль менеджера по продукту. Эта роль существует уже давно и вполне определена.

Менеджер по продукту наблюдает за идеей, дизайном и реализацией продукта; они анализируют реакцию пользователя на это и следят за событиями и показателями при принятии последующих решений; они гарантируют, что продукт соответствует стратегии и целям компании. В общем, менеджеры по маркетингу - это канал связи между заинтересованными сторонами в сфере технологий, дизайна, маркетинга и бизнеса. Ожидается, что они будут знать все тонкости своего продукта и обеспечить его успех.

В настоящее время мы начинаем видеть все больше и больше продуктов, включающих алгоритмы и возможности машинного обучения (например, Spotify и даже Netflix), поэтому роль PM начинает приобретать иной, немного более сложный вид. Это связано с сугубо техническим (иногда даже необъяснимым) характером решений машинного обучения, что вызывает необходимость дальнейшего изучения и изучения. Включение решений машинного обучения в ваш продукт может повлиять на все, от графика выпуска продукта до этических проблем, связанных с ним.

В моей текущей должности в Whisk, продукте Samsung Next, я управляю несколькими продуктами, некоторые из которых включают решения машинного обучения (например, системы рекомендаций). За это время мы столкнулись со многими нюансами, о которых я говорил выше. Наш опыт побудил нас серьезно задуматься о недавно определенной роли ML PM, которую компании должны будут интегрировать в свои организации, даже если они еще не знают об этом.

В этом посте я поделюсь некоторыми идеями о продуктах PMing ML в надежде дать некоторую ясность и рекомендации о том, как организации (и отдельные PM) могут способствовать изменениям и лучше справляться с этой задачей!

Зачем вам нужен ML PM

Технические вопросы, которые задает ваш менеджер по маркетингу, кардинально меняются, когда в вашем продукте есть компонент машинного обучения.

Даже на ранних этапах, таких как исследование конкурентов, необходимо понимать существующие решения и тенденции ИИ. Хотя PM не диктует техническое решение, они могут захотеть понять, например, почему их конкуренты используют BERT over GPT3 (два типа популярных языковых моделей NLP). Сделали ли они это из соображений эффективности, охвата или производительности? Какие идеи мы можем извлечь из подхода наших конкурентов к решениям машинного обучения?

На этапах определения требований к продукту менеджер по ML PM должен понимать от своей команды Data Science / Algorithm, как их выбор решений влияет на сроки разработки, а также можно ли масштабировать выбранное решение по мере необходимости и можно ли переделать модель. обучается легко. Естественно, им также следует подумать о том, будет ли это решение простым для понимания пользователями. Очевидно, это только начало, и нужно задать так много вопросов.

Менеджеры по продукту обычно несут ответственность за определение целей продукта и OKR, что требует от них понимания показателей успешности алгоритма машинного обучения. Например, при построении алгоритма классификации ML PM должен определять, что будет считаться «хорошей производительностью». С точки зрения продукта, важнее ли точность отзыва, чем отзыв? Достаточно ли точности? Все ли типы прогнозов одинаково важны и как эти определения соотносятся со стратегией компании?

Это всего лишь несколько примеров технических вопросов, требующих, чтобы ваш менеджер по маркетингу бегло говорил на машинном языке.

Еще одна деликатная проблема - данные. Менеджер по работе с клиентами, который руководит решениями на основе машинного обучения, должен хорошо разбираться в данных вашей организации и в том, что с ними можно сделать. Потребуется ли помечать данные для этого решения и каковы будут последствия для сроков? Кроме того, чтобы гарантировать соответствие ожиданий пользователей, менеджер проекта должен знать, достаточно ли репрезентативны данные. К сожалению, существует слишком много случаев обучения решений машинного обучения на предвзятых данных, что может повлиять на большие группы населения. С решениями машинного обучения, затрагивающими кредитный рейтинг людей, состояние здоровья и реальное будущее, предвзятые данные не являются второстепенной проблемой, и менеджер по машинному обучению должен играть здесь важную роль.

Общение ML с заинтересованными сторонами, не связанными с технологиями

Как уже упоминалось ранее, PM часто является воронкой общения между технологиями, дизайном, бизнесом и маркетингом. Некоторые из этих заинтересованных сторон (и, конечно же, наши пользователи) могут быть нетехническими и не понимать, чего вы хотите от «всего этого ИИ». Следовательно, PM, возглавляющий решение ML, должен чувствовать себя комфортно, сообщая концепции ML нетехническим заинтересованным сторонам. Для PM, заинтересованных в этой задаче, я рекомендую научиться упрощать ML и регулярно сообщать об этом! Пишите в блогах о ML простым языком, участвуйте в собраниях, проводите курсы и т. д.

Этот вызов будет появляться постоянно. При представлении моделей монетизации для решений машинного обучения коллегам по бизнесу, при составлении маркетинговых материалов о вашей системе рекомендаций или решении для распознавания лиц. Он появится в ходе интервью с пользователями, когда пользователи захотят узнать, что делается с их данными, и появится, когда вы объясните свои решения руководству.

Но разве ML не является областью исследований?

Все PM имеют дело с конфликтами интересов, и это довольно часто. Дизайнеры будут стремиться к идеальному UX, разработчики будут стремиться к простоте и эффективности, а руководство будет настаивать на более строгих сроках.

То же самое и в области машинного обучения. Специалисты по анализу данных / инженеры машинного обучения часто будут интересоваться новейшими решениями, и, как бывший специалист по данным, я их полностью понимаю! Однако менеджер по управлению проектами ML должен помнить, что не всегда есть время, ресурсы (данные) или потребность для таких обширных решений. Их миссия состоит в том, чтобы убедиться, что команда согласована между применимыми решениями машинного обучения и исследовательскими / экспериментальными решениями машинного обучения (если, конечно, это не исследовательская группа).

Мой совет менеджерам по ML: никогда не навязывайте решения своей технической команде (будь то более простое решение или современное). Они технические эксперты. Однако всегда поднимайте все важные вопросы и сосредоточьтесь на потребностях пользователя. Двигайтесь в направлении применимых, реалистичных и подходящих решений машинного обучения (даже если они заканчиваются эвристикой, а не надлежащим машинным обучением).

Итак, как мы можем нанять успешного менеджера по ML?

Как только организации осознают важность привлечения PM, ориентированного на машинное обучение, какие качества и характеристики им следует искать?

Прежде всего, Я бы порекомендовал кого-то, у кого есть реальный опыт работы с машинным обучением и связанными с ним технологиями, желательно на практике. Например, рассмотрим бывших специалистов по обработке данных, инженеров по алгоритмам или людей с аналогичным опытом (не надо. Забудьте, наличие опыта в области машинного обучения не обязательно означает, что кандидаты должны иметь докторскую степень).

Чтобы добиться успеха, убедитесь, что у вас есть хорошие коммуникаторы. Хотя это верно в отношении любого вида PM, я действительно хочу подчеркнуть этот момент здесь из-за сложностей, которые возникают при разработке продукта ML. Ваш менеджер по ML должен уметь сообщать - проще говоря - решения, требования и общую дорожную карту всем сегментам компании, от исследований и разработок до маркетинга и продаж, как это делал бы традиционный PM. У меня есть одно предложение: включить в процесс собеседования задачу «сообщить ML для нетехнических специалистов», чтобы убедиться, что ваш кандидат не справляется с этой задачей!

Убедитесь, что ваш менеджер по маркетингу твердо знает, как продавать продукты машинного обучения. Выясните, знают ли они, как правильно сформулировать сообщения для таких решений машинного обучения. Кроме того, они должны иметь возможность думать о том, как конкретная функция машинного обучения может вписаться в другие продукты и «рынок ИИ» в целом.

Последние мысли

Наем менеджера по менеджменту, который понимает сложности работы с машинным обучением и знает, какие вопросы нужно задавать, может уменьшить трение и ускорить вывод продуктов на рынок в разумные сроки. Сильный коммуникатор с опытом машинного обучения может не только обучить других в компании, но и укрепить вашу ценность ИИ и обмен сообщениями.

Как и в случае с любой другой ролью, признание потребности в ML PM является первым шагом в правильном направлении для любой компании, которая хочет включить ML в свои продукты. Я горжусь тем, что работаю с командой, которая усвоила эту новую реальность и принимает меры, чтобы внедрить ее в наше представление об управлении продуктами!