Машинное обучение меняет то, как решения влияют на жизнь людей. В настоящее время это стало более верным из-за недавних штормов, созданных ChatGPT OpenAI. Таким образом, для компаний и предприятий становится все более важным не отставать от этих тенденций и делать свои решения более эффективными и прибыльными. Компании тратят значительные средства на исследования и разработки, нацеленные на решения для машинного обучения. Однако при развертывании модели в игру вступают различные факторы. Чтобы проанализировать их и решить связанные с ними проблемы, компании могут использовать несколько решений MLOps, доступных на рынке. Сегодня мы обсудим один из них: Arize AI.
Аризе ИИ
Такие компании, как Uber и Cohere, используют Arize AI для мониторинга, устранения неполадок и объяснения моделей машинного обучения в производстве. Arize позволяет легко анализировать производительность развернутых моделей, предоставляя утилиты для мониторинга производительности в реальном времени, дрейфа поверхности и качества данных, а также анализа показателей производительности. Платформа Arize может регистрировать выводы из сред обучения, проверки и развертывания, что приводит к подключению к Arize на каждом этапе процесса. Что еще более важно, это открытая платформа, которую можно развернуть как Saas, так и локально.
Попробуйте!
Чтобы поэкспериментировать с Arize AI, мы создадим систему рекомендаций для фильмов. Код вы можете найти в этой блокноте. Мы используем образцы наборов данных, предоставленные Arize AI, которые содержат следующую информацию для первых 10 строк в наборе данных:
Мы строим модель SVD, используя библиотеку сюрпризов, и предсказываем 10 лучших рекомендаций для указанного пользователя.
Вы можете получить доступ к платформе с бесплатной версией, чтобы поэкспериментировать с ней. Бесплатная версия имеет определенные ограничения на количество проектов и анализов, которые вы можете выполнять с моделью. Тем не менее, это дает вам хороший опыт работы с платформой.
Вы можете подключиться к платформе из Google Colab, используя следующий фрагмент кода:
Ключ API и ключ пробела предоставляются вам при создании учетной записи в Arize AI.
Теперь, когда мы успешно подключились к Arize, давайте изучим его возможности!
Отслеживание производительности
Эта функция позволяет анализировать производительность модели с помощью различных показателей. Здесь мы также анализируем важность различных функций для прогнозов модели.
Вы также можете сравнить производительность модели, обученной на разных наборах данных, в режиме реального времени.
Arize AI также позволяет вам определять пользовательские метрики, которые дают более точное представление о производительности модели. Платформа определяет метрики в SQL и делает ее очень простой в использовании благодаря функциям автозаполнения. Здесь мы определяем простую пользовательскую метрику, которая вычисляет средний ранг прогнозов, выдаваемых моделью.
Обнаружение дрейфа
Данные, которые модель видит в режиме реального времени, могут со временем повлиять на ее реакцию. Чтобы проанализировать эти изменения распределения, мы можем использовать утилиту сравнения дрейфа. В следующем примере показано базовое распределение и распределение самых последних данных, полученных моделью. В этих конкретных выборочных данных нет большой разницы, но распределения могут сильно различаться, и обнаружение дрейфа позволяет это определить.
Мониторинг модели
Для бизнеса важно, чтобы производительность модели сохранялась и не происходило значительного снижения производительности. По этой причине Arize AI предоставляет своим клиентам утилиту мониторинга модели, которая оценивает деградацию модели с точки зрения ключевых показателей.
Вы можете создать несколько мониторов, анализирующих различные факторы производительности. Эта конкретная метрика анализирует процент пустых прогнозов модели.
Вы также можете иметь монитор, который анализирует качество данных.
Панели мониторинга
Наконец, вы можете создавать информационные панели, чтобы лучше понимать прогнозы модели и ее производительность в среде реального времени. Ниже мы можем увидеть диапазон прогнозов:
Заключение
Arize AI — отличный инструмент, предоставляющий комплексные услуги для обучения и развертывания моделей машинного обучения. Это позволяет вам анализировать миллиарды прогнозов, предоставляя вам возможность наблюдать за машинным обучением в беспрецедентном масштабе. Он может легко подключаться к существующему стеку машинного обучения и работать с любой платформой, инфраструктурой или средой машинного обучения. Единственным недостатком будет ограниченность ресурсов, доступных на бесплатной учетной записи!
