Изучите передовой опыт построения модели искусственного интеллекта и когда узнать, когда она «достаточно хороша».

Эта статья является частью серии, в которой управление продуктами ИИ разбито на 5 отдельных этапов. Введение в эти серии начинается здесь.

Управление продуктами искусственного интеллекта, этап 4: построение модели искусственного интеллекта

Соображение: кто должен участвовать?

Короткий ответ:

Вам нужно думать не только о данных о данных.

Длинный ответ:

Вам нужно будет сотрудничать с профильными экспертами, конечными пользователями и покупателями. Они могут помочь вам подтвердить, что результаты модели ИИ важны или ценны для них.

1. Специалисты в предметной области

Если в процессе обучения вы проводите обучение с учителем, вам нужно будет пометить данные. Малые и средние предприятия могут помочь маркировать данные, особенно если маркировка требует знания предметной области. Вы можете рассмотреть вопрос об аутсорсинге работы по маркировке, которая не требует участия малого и среднего бизнеса, чтобы сократить расходы. Например, чтобы обозначить слово «существительное» в предложении, не требуется специальных знаний. Существуют поставщики, которые могут сделать это за вас, например Amazon Turks или рисунок 8. Но если вы хотите обозначить «риск» в юридическом документе, вам понадобится такое предприятие, как юрист, чтобы это обозначить. После завершения обучения модели ИИ предприятия малого и среднего бизнеса могут помочь в подтверждении результатов модели ИИ. Для «неконтролируемого» обучения вам не нужно маркировать данные, поскольку модель искусственного интеллекта сама обнаружит тенденции. Но малые и средние предприятия по-прежнему важны, потому что они могут здраво проверить результат работы модели ИИ.

* Слово «этикетка» здесь упрощает язык. В зависимости от используемого алгоритма ваш специалист по данным может использовать разную терминологию. Но это та же концепция - вам нужно «пометить» или «идентифицировать» объекты, которые вы хотите извлечь из своего набора данных.

2. Конечные пользователи

Вы также должны убедиться, что согласовали выходные данные модели ИИ с конечными пользователями. В нашем случае после того, как мы выполнили цикл обучения, мы создали прототип пользовательского интерфейса, который отображал выходные данные модели ИИ в более доступной для конечного пользователя форме. Вместо файла JSON с подробным описанием результатов модели ИИ мы создали прототип пользовательского интерфейса, в котором говорится, что мы нашли «x» в ваших данных. Затем мы попросили конечных пользователей сообщить нам, имеют ли рекомендации какой-либо смысл, ценны или нет. Вы захотите начать создание прототипа на ранней стадии, чтобы показать конечному пользователю результаты вывода модели ИИ. Привлекайте этих конечных пользователей на раннем этапе построения модели ИИ.

3. Покупатели

Вам понадобятся результаты, чтобы они были полезны на индивидуальном уровне, но также очень важно, чтобы результаты были ценными в масштабе. В моем случае мы не только отображали рекомендации для конечного пользователя, но и позволяли покупателю создавать отчеты о тенденциях в бизнесе. Эти отчеты показали, что конкретный бизнес-KPI улучшился на x% благодаря нашему продукту AI.

Общие советы

  • Вам нужно будет привлечь МСП, конечных пользователей и покупателей.
  • Выходные данные модели ИИ должны быть понятными, чтобы быть ценными.

AI Product Management Phase 5: Test and Deploy

Соображение: когда модель ИИ достаточно хороша?

Короткий ответ:

Никогда ;)

Длинный ответ:

Это не разовый тренировочный цикл. Вам нужно будет обновить свои модели искусственного интеллекта, так что спланируйте это заранее. Когда данные в производстве меняются, ваша модель искусственного интеллекта также должна адаптироваться и меняться.

Вы можете спланировать это, построив непрерывный цикл обратной связи в самом продукте. Это позволит вам отслеживать и узнавать, когда результаты теряют актуальность для ваших конечных пользователей. Это может быть просто значок «большой палец вверх» или «палец вниз». Вы также можете периодически проводить фокус-группы со своими конечными пользователями и / или проводить собственное внутреннее тестирование с участием малых и средних предприятий.

Кроме того, вы можете создать команду по анализу данных «Model Ops». Эта команда может анализировать поступающие «дефекты», связанные с моделью ИИ, сортировать их, а затем обновлять модель. По мере того, как команда становится все лучше и лучше, она может доставлять обновления в режиме реального времени. Меньше всего вам нужно, чтобы конечный пользователь подал заявку в службу поддержки о том, что результаты неверны, а затем заставил этого человека ждать месяцами, прежде чем они улучшатся. С модельной командой вы можете сократить время реакции до нескольких дней.

Полученная здесь обратная связь может вернуть вас к фазе 1, подвергнув сомнению ваши основные предположения и заставив работать новую модель искусственного интеллекта.

Общие советы

  • Это не разовый тренировочный цикл.
  • Когда данные изменятся, вам придется изменить модель искусственного интеллекта.
  • Текущее обслуживание требует времени и усилий.
  • Представьте себе модельную операционную команду.

Стелла Лю была менеджером по продукту в IBM Watson IoT, где она помогла своей команде создать первый масштабный продукт на основе искусственного интеллекта. Она любит говорить об искусственном интеллекте, управлении продуктами и экологической устойчивости.

Пожалуйста, обращайтесь к ней в LinkedIn, если у вас возникнут вопросы или комментарии!