Исследования показывают, что только часть проектов машинного обучения (ML) окажет влияние на бизнес¹. В этой статье я расскажу и расскажу о собственном опыте настройки систем показателей для максимального успеха проектов машинного обучения.

Во время работы над стратегией выручки / чистой прибыли в Amazon одним из моих приоритетов было получение практических знаний по проектированию и построению моделей машинного обучения. Например, я научился строить классификацию изображений с помощью нейронных сетей. Создание моделей машинного обучения и изучение их результатов было для меня абсолютно увлекательным. Независимо от того, насколько увлекательным является или станет машинное обучение, в настоящее время у меня нет планов переходить на должность специалиста по данным или ученого-прикладника. Управление продуктами - моя страсть, но меня всегда привлекала математика и приложения машинного обучения! Я был в восторге, когда нашел должность в Amazon, в которой был компонент ведущих функций машинного обучения. Мне нравится золотая середина между Product Management и ML.

"Давайте эту штуку ML!"

Делюсь пятью уроками, которые я извлек в качестве менеджера по продукту машинного обучения в Amazon:

1. Роли. Первый и наиболее очевидный урок заключается в том, что знание того, как построить модель машинного обучения, - это не то же самое, что руководить продуктом машинного обучения.

2. Проекты машинного обучения и проекты, связанные с программным обеспечением. Руководить традиционным проектом, связанным с программным обеспечением, - это не то же самое, что руководить проектами машинного обучения. Научный подход (то есть наблюдение, гипотеза, проверка, обучение и т. Д.) По-прежнему применим как к традиционному программному обеспечению, так и к проектам машинного обучения. Однако машинное обучение полностью зависит от качества и количества данных, имеющих отношение к бизнес-проблеме, в отличие от традиционных моделей программного обеспечения. Как только вы преодолеете ограничения данных, у вас возникнут сложности с потерей, оптимизацией и оценкой. Упоминал ли я о неоднозначности оценки исходной ценности для бизнеса и предложения ценности для клиента?

3. Уровень сложности - «Вам просто нужно запустить функции машинного обучения в этом продукте» не так просто, как кажется. Поймите и уважайте многолетнюю техническую архитектуру, которую необходимо скорректировать из-за машинного обучения. Чем больше копаешь, тем больше скелетов найдешь.

4. Влияние на бизнес. Расчет влияния модели машинного обучения на бизнес до смешного неоднозначен. Бизнесу нужно «показать деньги». Как менеджер по продукту, вы должны показать количественную ценность. Выявление, понимание и оценка правильных предположений играют ключевую роль. Это, конечно, должно сопровождаться согласованием с более широкой организацией.

5. Влияние на клиента - проверка воздействия на клиента с помощью машинного обучения может быть выполнена без машинного обучения. Я узнал, что мы можем проверить достоверность и влияние модели машинного обучения, даже не создавая ее. Работайте в обратном направлении! Создавайте макеты (в различных форматах) для проверки предположений. Наличие некоторых данных проверки повышает уверенность организации и помогает другим сплотиться вокруг дела.

Верхушка айсберга

Итак, подведем итог извлеченным мной урокам: ML добавляет значительную неопределенность для заинтересованных сторон. При запуске продуктов машинного обучения возникают следующие вопросы: может ли это принести пользу бизнесу? Какие существуют доказательства? Какие предположения? Какие финансовые риски? На кого это больше всего влияет? Насколько сложна реализация? Действительно ли данные, используемые при обучении модели машинного обучения, репрезентативны для производства? Достаточно ли у нас этикеток? Это лишь верхушка айсберга. Многие другие вопросы, подобные этим, будут возникать в процессе запуска продукта машинного обучения.

Создание оценочной карты

Как видите, руководя продуктом машинного обучения, необходимо одновременно понимать и управлять несколькими областями в любой момент времени. Во время учебы на MBA я прочитал тематическое исследование и статью о концепции построения сбалансированной системы показателей. Почти 30 лет назад Роберт С. Каплан и Дэвид П. Нортон предложили такое решение проблемы управления различными аспектами бизнеса². Они предложили использовать сбалансированную систему показателей, чтобы взглянуть на бизнес с четырех важных точек зрения:

  • Как нас видят клиенты?
  • В чем мы должны преуспеть?
  • Можем ли мы продолжать совершенствоваться и создавать ценность?
  • Как мы смотрим на акционеров?

«Думайте о сбалансированной системе показателей как о циферблатах и ​​индикаторах в кабине самолета. Для выполнения сложной задачи по навигации и управлению самолетом пилотам необходима подробная информация о многих аспектах полета. Им нужна информация о топливе, воздушной скорости, высоте, пеленге, пункте назначения и других показателях, которые обобщают текущую и прогнозируемую среду ». ²

Можем ли мы принять концепцию сбалансированной системы показателей и настроить ее для управления продуктами машинного обучения? Вот мои оценочные листы, которые я разработал на собственном опыте:

1. Данные, данные, данные

Да! Шерлок! Я согласен, что без глины кирпичи не построить. Мы не можем создавать решения машинного обучения без правильных данных. Итак, начнем с данных, данных, данных. Нет замены пониманию и накоплению правильных данных для вашего проекта. В зависимости от того, где вы находитесь в своем проекте, сядьте со своим ученым-прикладником, чтобы понять, какие ограничения они имеют в отношении данных. Отнеситесь к этим опасениям серьезно и сплотите свою команду для их решения. Разработайте план постепенного наращивания данных. Вот таблица, которая иллюстрирует мою систему показателей.

2. Покажи мне деньги

Усилия по машинному обучению привязаны к основным показателям бизнес-единицы. Связывание вывода ML с линией верха имеет решающее значение для дальнейшего успеха проекта. Когда заинтересованные стороны выражают озабоченность по поводу потенциального воздействия, поймите, какие предположения ставятся под сомнение, и составьте планы для подтверждения этих предположений. Соберите доказательства, чтобы показать влияние модели на заинтересованные стороны. Свяжите структуру проекта MoSCoW, чтобы избежать расползания объема даже при расчете воздействия.

3. Внутренняя система показателей

Уменьшите межфункциональную двусмысленность с помощью четких коммуникационных процессов. Все заинтересованы в том, чтобы сообщать о статусе различных этапов проекта.

4. Заказчик

Клиенты составляют отличную основу для вашего проекта, вовлекают их на раннем этапе и работают в обратном направлении. Это должно быть очевидным шагом для любого менеджера по продукту, поэтому я не буду утомлять вас этим.

Приглашение к вам:

Сосредоточение внимания исключительно на запуске решений машинного обучения без сбалансированного подхода поставит вас на круговой путь. Повысьте шансы на запуск правильных решений с помощью вышеупомянутых карт сбалансированного счета. Список вопросов и типов оценочных карточек постоянно растет. Не стесняйтесь использовать эти оценочные карточки для своих проектов. Я приглашаю вас поделиться другими оценочными карточками или соответствующими вопросами, которые были вам полезны. Желаю тебе всего наилучшего!

Цитаты:

[1]: Флеминг, Ретика и Фил Фершт. Как избежать надвигающегося кризиса машинного обучения. HFS Research, июль 2018 г. https://1pcll3wzgyqw5kf62erficswwpengine.netdna-ssl.com/wp-content/uploads/2018/07/RS_1807_HfS-POV-MachineLearning-Crisis.pdf.

[2]: Каплан и Нортон. (1992). Сбалансированная система показателей - показатели, влияющие на производительность. Harvard Business Review, 71–79. Источник https://hbr.org/1992/01/the-balanced-scorecard-measures-that-drive-performance-2