СЕРИЯ НАБЛЮДЕНИЙ ML

Инструменты инфраструктуры машинного обучения - наблюдаемость машинного обучения

Часть 1: Серия наблюдаемости ML

Машинное обучение (ML) внедряется предприятиями практически во всех отраслях. Многие компании обращаются к платформам инфраструктуры машинного обучения, чтобы стимулировать использование ИИ в своем бизнесе. Понимание различных платформ и предложений может оказаться сложной задачей. Пространство инфраструктуры машинного обучения переполнено, запутано и сложно.

Чтобы понять экосистему, мы в целом разбиваем рабочий процесс машинного обучения на три этапа - подготовка данных, построение модели и производство. Понимание целей и задач каждого этапа рабочего процесса может помочь принять обоснованное решение о том, какие платформы инфраструктуры машинного обучения лучше всего подходят для нужд вашего бизнеса.

В наших последних публикациях мы углубились в части Подготовка данных и Построение модели рабочего процесса машинного обучения. Мы начали погружаться в производственное машинное обучение и подробно обсудили проверку модели и развертывание модели. В этом посте мы углубимся и начнем серию статей о наблюдаемости машинного обучения.

Что такое наблюдаемость машинного обучения?

Как сообщество машинного обучения, мы добились огромных успехов в создании моделей, которые позволяют компьютерам совершать удивительные интеллектуальные подвиги. Теперь, когда эти модели используются для принятия решений, как мы можем убедиться, что эти технологии действительно работают, что мы обеспечиваем их непрерывно и качественно, что мы активно их улучшаем и обеспечиваем соответствие результатов исследований производственным? Большинство специалистов по анализу данных быстро понимают, что Jupyter Notebook - это не настоящий мир. Наблюдаемость модели - ключ к преодолению разрыва. Наблюдаемость модели - это основополагающая платформа, которая позволяет командам постоянно предоставлять и улучшать результаты от лаборатории до производства.

В этой серии блогов мы будем обсуждать тему наблюдаемости модели. Мы рассмотрим проблемы, с которыми сталкиваются модели в реальном мире. Мы также рассмотрим инструменты, которые помогут понять, как ведут себя модели.

Наблюдаемость модели - это просто модное слово для обозначения мониторинга машинного обучения?

Наблюдаемость модели начинается с процесса сбора оценок модели в таких средах, как обучение, проверка и производство, а затем связывания их вместе с аналитикой, которая позволяет соединить эти точки для решения проблем машинного обучения машинного обучения. Эти выводы хранятся в хранилище оценки модели (заслуга Джоша Тобина за этот термин), в котором хранятся необработанные данные вывода. Оценочное хранилище содержит отклик модели, сигнатуру решений модели, на каждую часть входных данных для каждой версии модели в каждой среде.

Платформа ML Observability позволяет командам анализировать деградацию модели и определять первопричины любых возникающих проблем. Эта способность диагностировать основную причину проблем модели путем соединения точек между проверкой и производством - это то, что отличает наблюдаемость модели от традиционного мониторинга модели. В то время как мониторинг модели состоит из настройки предупреждений о ключевых показателях производительности модели, таких как точность или дрейф, наблюдаемость модели подразумевает более высокую цель - добраться до сути любых регрессов производительности или аномального поведения. Нас интересует, почему . Мониторинг интересуют только агрегаты и алерты. Наблюдаемость интересует, что мы можем сделать из прогнозов модели, понимания объяснимости, данных о производственных функциях и данных обучения, чтобы понять причину действий модели и построить рабочие процессы для улучшения.

Наблюдаемость машинного обучения, подкрепленная оценочным хранилищем:

  • Беспрепятственное переключение между производственной средой, средой для обучения и проверкой наборов данных
  • Встроенная поддержка анализа оценки модели по среде
  • Предназначен для анализа аспектов производительности / фрагментов прогнозов
  • Объяснимая атрибуция, предназначенная для устранения неполадок и нормативного анализа
  • Анализ производительности с достоверной информацией - Точность, F1, MAE
  • Производительность прокси без достоверной информации - отклонение от прогнозов
  • Анализ дрейфа распределения между наборами данных и средами
  • Создан, чтобы ответить на вопрос, почему изменения производительности
  • Комплексная проверка
  • Создан для повторения и улучшения

Почему наблюдаемость машинного обучения так важна

Наша команда лично работала над моделями, используемыми для оценки цен, прогнозирования, маркетинга, кредита и сроков доставки, и это лишь некоторые из них. Во всех случаях есть общая сюжетная линия; мы построим модель, развернем ее, и она будет отлично работать в одном городе, а не в другом. Он будет отлично работать с определенными районами / клиентами / типами продуктов и плохо работать с другими. Было бы здорово в среднем случае, но ужасно в конце прогнозов. Или он отлично работал бы при первоначальном запуске, а затем модель медленно деградировала бы. В других случаях у вас будет мгновенное изменение, вызванное ошибкой восходящего конвейера данных, которая медленно отравит обучающие данные. Во всех этих случаях было ясно, что отсутствовала основополагающая часть инфраструктуры машинного обучения, которая помогала бы моделям работать, когда команды развертывали их в производственной среде.

При другом распространенном использовании машинного обучения, таком как анализ модели мошенничества, понимание почему изменений производительности чрезвычайно важно. При мошенничестве существует постоянная картина изменения поведения, основанная на противостоящих действиях злоумышленников. Эти злоумышленники создают очаги снижения производительности, которые могут пролить красный или зеленый свет на систему мониторинга. Но причинно-следственная связь, «почему», как правило, помогает остановить схему мошенничества.

В компаниях, которые строят модели для каждого клиента, обученные на конкретных данных клиента, каждая модель обучается по-разному. Команды могут быть завалены моделями, показывающими дрейф данных / модели, но может быть трудно показать, является ли этот дрейф проблемой . Как вы решаете проблемы в масштабе и как ваша команда машинного обучения масштабируется по мере роста клиентов? Команды хотят быстро узнавать, где возникают проблемы в масштабе, быстро сравнивать производство с проверкой и быстро устранять проблемы с уверенностью.

Не имея инструментов, позволяющих рассуждать об ошибках, совершаемых моделью в дикой природе, команды вкладывают огромные суммы денег в лабораторию анализа данных, но в реальном мире практически не работают вслепую. В следующих блогах рассказывается, как команды могут уверенно создавать модели, постоянно улучшать и получать конкурентное преимущество машинного обучения. Мы более подробно рассмотрим наблюдаемость машинного обучения и мониторинг машинного обучения.

Следующий

Мы надеемся, что вам понравилась серия инструментов для инфраструктуры машинного обучения. Далее мы более подробно рассмотрим наблюдаемость машинного обучения. Есть так много недостаточно обсуждаемых и чрезвычайно важных тем по внедрению ИИ, в которые мы будем углубляться!

Связаться с нами

Если этот блог привлек ваше внимание и вы хотите узнать больше о Наблюдаемости машинного обучения и Мониторинге моделей, ознакомьтесь с другими нашими блогами и ресурсами по Мониторингу машинного обучения! Не стесняйтесь обращаться к нам с любыми вопросами или комментариями, и найдите наши открытые вакансии здесь, если вы хотите присоединиться к веселой инженерной команде Rockstar, чтобы помочь сделать модели успешными в производстве!