Видение Wallaroo состоит в том, чтобы предоставить самый простой способ развертывания, запуска и наблюдения за машинным обучением в производственной среде в масштабе, а также помочь предприятиям использовать машинное обучение для повышения своей прибыли (подробнее читайте здесь). С этой целью мы считаем, что наблюдаемость и расширенное понимание моделей являются ключевыми компонентами продукта. Эти функции позволяют командам машинного обучения быстро выявлять недостаточную производительность модели или узкие места производственной системы, чтобы они могли адаптироваться и выполнять итерации по мере необходимости для повышения ценности бизнеса. Кроме того, наблюдаемость обеспечивает подробный контрольный журнал, необходимый для соблюдения требований и управления рисками.

Естественно, Wallaroo обеспечивает базовую наблюдаемость, которую вы ожидаете:

  • Пользовательские и системные журналы, в том числе сведения о том, что было развернуто кем, временные метки, пропускная способность, задержка производительности системы и т. д.
  • Журнал аудита в режиме реального времени данных, используемых в производстве, модели и версии, в которой был выполнен вывод, результирующий прогноз, отметка времени, продолжительность вычислений и т. д.
  • Проверка данных проверяет данные, которые вводятся в модель, для каждой модели отдельно.

В дополнение к этому мы также предоставляем новую функцию: Model Insights. Наша функция Model Insights позволяет вам отслеживать, как среда, в которой работает ваша модель, может меняться таким образом, что это влияет на конечный результат, поэтому вы можете своевременно вмешаться. Этот пост углубляется в Model Insights.

У моделей есть предположения

В машинном обучении мы используем данные и известные ответы, чтобы обучить модель делать прогнозы для новых ранее невиданных данных. Мы делаем это с предположением, что будущие невидимые данные будут похожи на данные, использованные во время обучения: будущее будет немного похоже на прошлое.

Конечно, это не совсем так, и хорошая модель должна быть устойчива к некоторым изменениям в окружающей среде; однако, если среда меняется слишком сильно, ваши модели могут больше не принимать правильные решения. Эта ситуация известна как дрейф концепций; слишком большой дрейф может привести к устареванию ваших моделей, что потребует периодического переобучения.

Как вы определяете, что смещение концепции вызывает проблему? Один из способов — сравнить прогнозы модели с фактическими результатами. Это может быть не всегда возможно или иметь слишком большую задержку. Например, когда модель мошенничества с кредитными картами отклоняет транзакцию, невозможно определить, была ли эта транзакция на самом деле мошенничеством. Если ваша модель отклоняет слишком много хороших транзакций, вы можете не узнать об этом, пока не начнут поступать жалобы — слишком поздно!

Обнаружение дрейфа концепции

Можете ли вы обнаружить проблему с вашей моделью мошенничества с кредитными картами до того, как ваши клиенты начнут жаловаться? Здесь на помощь приходит Model Insights. Model Insights пытается уловить дрейф концепций, отслеживая дрейф данных: не отклонились ли данные, поступающие в модель, или сами прогнозы модели слишком далеко от ожидания модели. Мы делаем это, сравнивая распределение поступающих данных и/или прогнозов модели с базовыми распределениями, которые описывают ожидания модели.

Например, предположим, что ваша модель мошенничества с кредитными картами возвращает вероятность (число от нуля до 1) того, что транзакция является мошенничеством. Используя Model Insights Wallaroo, вы можете установить базовое распределение оценок, возвращаемых моделью. Эта базовая линия описывает то, что модель «обычно делает». Затем Wallaroo может постоянно отслеживать распределение баллов по выбранным пользователем временным окнам и сравнивать текущее распределение с базовым.

На приведенной выше диаграмме период A представляет базовое распределение оценок модели мошенничества. Период B представляет собой распределение оценок в более позднее временное окно. Эти два дистрибутива не идентичны, но они близки: не было большого дрейфа концепций, и модель, похоже, работает так, как ожидалось.

Но все может измениться. Допустим, согласно модели, покупки дорогой электроники, которые отправляются на адрес, отличный от адреса доставки, с большей вероятностью будут мошенническими. Это могло быть разумным предположением, когда модель обучалась, но не сейчас. В наши дни все больше людей могут работать или учиться дома (и, следовательно, им требуется более дорогая электроника), и они могут посылать или дарить больше электроники семье в других домохозяйствах (новый ноутбук для ребенка в колледже, новые смартфоны или планшеты для детей). бабушек и дедушек на телеконференцию со своими внуками).

Это изменение в поведении потребителей может привести к тому, что модель будет присваивать более высокие баллы за мошенничество более законным покупкам. Отказ от слишком большого количества законных покупок может плохо сказаться на вашем бизнесе.

На приведенной выше диаграмме мы теперь сравниваем базовое распределение модели с более поздним временным окном, периодом C. Изменение поведения потребителей привело к тому, что модель мошенничества дала законным транзакциям более высокие оценки, что изменило распределение оценок. Эта общая восходящая тенденция может привести к тому, что модель ошибочно отклонит слишком много законных транзакций.

Если вы поймаете это вовремя, вы сможете выяснить причину и вмешаться до того, как неверные решения вызовут у вас проблемы.

Возможность улавливать изменения в поведении модели, замечая изменение распределения баллов, потенциально может уберечь ваш бизнес от дорогостоящих ошибок. Wallaroo Model Insights также может отслеживать распределение ключевых входных данных модели. В этом примере отслеживание распределения размера покупки для транзакций с электронными товарами может выявить изменение в поведении потребителей, которое потенциально может вызвать дрейф концепции.

Как мы это делаем

Существует много полезных статистических тестов для вычисления разницы между распределениями; однако они обычно требуют предположений об основных распределениях или запутанных и дорогостоящих расчетах. Мы внедрили платформу смещения данных, которая проста для понимания, быстро вычисляется, работает в автоматическом режиме и расширяема для многих конкретных случаев использования.

Наша методология в настоящее время вращается вокруг расчета конкретных ячеек базового распределения на основе процентилей и измерения того, как будущие распределения попадают в эти ячейки. Этот подход визуально интуитивно понятен и позволяет легко рассчитать разницу между распределениями. Пользователи могут настроить механизм подсчета очков, чтобы выделить различные области распределения: например, вас может интересовать только изменение верхнего 20-го процентиля распределения по сравнению с базовым уровнем. Специальный интерактивный режим поможет вам изучить поведение модели и настроить нужные параметры.

Модель Wallaroo Insights Framework

Инфраструктура Wallaroo Model Insights поддерживает описанный выше мониторинг модели интуитивно понятным и эффективным с точки зрения вычислений способом.

Вы можете указать входы или выходы, которые вы хотите отслеживать, и данные, которые будут использоваться для ваших базовых показателей. Вы также можете указать, как часто вы хотите отслеживать дистрибутивы, и установить параметры, чтобы определить, что представляет собой значимое изменение в дистрибутиве для вашего приложения.

После того как вы настроите задачу мониторинга, называемую анализом, сравнения с вашим базовым уровнем будут выполняться автоматически по расписанию. Вы можете быть уведомлены, если система заметит какое-либо ненормальное поведение. Платформа также позволяет быстро исследовать причину любых неожиданных дрейфов в ваших прогнозах. Подробнее об этом в следующей статье.

Поговори с нами

В этой статье мы обсудили, как дрейф концепции может негативно повлиять на вашу прибыль, и подчеркнули важность мониторинга входных и выходных данных вашей модели, чтобы обнаружить его. В сочетании с проверками Wallaroo Data Validation Model Insights может помочь убедиться, что ваши процессы, управляемые ИИ, работают бесперебойно и без ошибок.

Если вы хотите продолжить с нами изучение этого вопроса, например получить доступ к полному пакету SDK, дать нам конкретный отзыв о функциональности/семантике/интеграции или обсудить, как это может помочь в вашем случае использования, напишите нам по электронной почте [email protected].

Вы также можете найти другие блоги о Wallaroo: https://www.wallaroo.ai/blog/.