Последние пару лет компании все больше и больше используют искусственный интеллект в своем повседневном рабочем процессе. Со временем ландшафт ИИ кардинально изменился. Сначала мы увидели, как ученые пытаются создать сложные сети, способные выполнять задачи на сверхчеловеческом уровне (но никто не понимал, что они делают). Затем появились первые последователи, которые наняли инженеров по машинному обучению для создания индивидуальных моделей, которые позволили им создавать новые и лучшие продукты. В современном мире ИИ стал неотъемлемой частью индустрии программного обеспечения и используется не только для проверки концепций, которые уже трудно контролировать, но и в полной мере задействован в производственных средах, которые можно масштабировать и поддерживать при использовании. лучших практик MLOps. Если вы хотите узнать больше о MLOps, ознакомьтесь с одним из наших предыдущих сообщений в блоге, где мы даем введение и обзор:

Https://blog.ml6.eu/mlops-101-what-why-and-how-to-get-started-today-1f2d4038662c

На этой неделе на Google IO компания Google объявила об общедоступности Vertex AI. Новая платформа, которая использует принципы MLOps и объединяет множество уже доступных инструментов, предлагаемых GCP. В этом сообщении блога мы подробнее рассмотрим, почему Google только что объявил об одном из своих крупнейших релизов за последние пару месяцев (или даже лет), что он предлагает и каковы будут последствия. В следующие пару недель мы опубликуем серию сообщений в блогах, в которых будет более подробно рассказано об инструментах, предлагаемых Vertex AI.

Немного истории

Являясь одним из драйверов в мире машинного обучения, Google предлагает множество инструментов, таких как AutoML, AI Platform, BigQuery ML и т. Д. Некоторые из этих решений могут показаться немного разрозненными, и для этого требуется опыт. знать, как все должно быть взаимосвязано. Еще в ноябре 2020 года Google анонсировал AI Platform (unified) с небольшим объявлением в своих примечаниях к выпуску (см. Рисунок 1).

Платформа AI (унифицированная) ну… унифицированная платформа AI и AutoML. Это был первый шаг в попытке провести различие между вызовом предварительно обученной модели, предлагаемой Google, и обучением модели и ее настройкой для ваших данных. В настоящее время эти двое все еще смешиваются. Например, в рамках продукта ИИ на естественном языке у нас есть Cloud Natural Language API (который предлагает общую классификацию контента; анализ тональности; распознавание сущностей по фиксированному набору меток) и AutoML для классификации текста и документов, анализа тональности и извлечения сущностей. раздельно. С платформой AI (унифицированной) продукты AutoML (видение, NLP и таблицы) теперь стали частью продукта AI Platform, где несколько инструментов для подготовки и обучения ваших данных были объединены вместе.

Google всегда немного расплывчато относился к разнице между платформой AI и платформой AI (унифицированной), и последние пару месяцев птички шептали нам на ухо, что Google работает над чем-то большим. Начиная с этой недели, AI Platform (унифицированная) больше не встречается и заменяется на Vertex AI.

Если вы попытаетесь найти документацию по инструментам AI Platform, вы часто будете перенаправлены на документацию Vertex AI. Попробуйте перейти по следующей ссылке: https://cloud.google.com/ai-platform/

Другие страницы документации AI Platform (например, эта: https://cloud.google.com/ai-platform/docs) ясно показывают, что AI Platform будет полностью заменена на Vertex AI в будущем (см. Рисунок 2).

Это объявление - большой шаг для GCP, и теперь мы знаем, почему платформа AI (унифицированная), казалось, окутана завесой тайны.

Что может предложить Vertex AI?

Вкратце: простота использования. Vertex AI выглядит как платформа, которую Google предлагает для объединения инструментов для внедрения машинного обучения в производство в соответствии с принципами MLOps. Согласно Google:

«Vertex AI требует почти на 80% меньше строк кода для обучения модели по сравнению с конкурирующими платформами, что дает ученым по данным и инженерам машинного обучения с любым уровнем подготовки возможность реализовывать операции машинного обучения (MLOps) для эффективного создания и управления проектами машинного обучения на всем протяжении жизненный цикл разработки. «

Vertex AI станет универсальным центром для всего, что связано с AI, связанным с GCP. Мы дадим несколько кратких объяснений об инструментах, которые будет включать Vertex AI, и о том, что это такое. Подробные сообщения в блоге появятся в ближайшие недели.

Начиная с этой недели Vertex AI открывает на своей платформе множество инструментов:

  • Подготовка и управление наборами данных для использования с AutoML.
  • AutoML для обучения моделей машинного обучения на вашем наборе данных.
  • Обучение пользовательских моделей, таких как модели Tensorflow, Scikit-learn, PyTorch и XGBoost.
  • Прогнозы (как онлайн, так и пакетные) на основе моделей AutoML и специально обученных моделей.
  • Объясняемый ИИ, чтобы помочь пользователям, не имеющим технических навыков, понять выходные данные модели для задач классификации и регрессии. Помогая им понять, каковы ограничения модели машинного обучения и где могут быть потенциальные (несправедливые) предубеждения.
  • Прогнозирование с использованием данных временных рядов для табличных моделей AutoML. *
  • Магазин функций предоставит централизованное хранилище для организации, хранения и обслуживания функций машинного обучения. Это устраняет проблемы недостаточного использования высококачественных функций и избыточности при создании функций. Централизованный репозиторий обеспечивает четкое владение тем, где создаются, хранятся и должны быть вызваны функции. Магазины функций предлагают интерактивные запросы с малой задержкой и пакетные запросы с высокой пропускной способностью. *
  • Tensorboard для удобного сравнения обучения экспериментам по машинному обучению, построенный на библиотеке Tensorboard с открытым исходным кодом командой Google Tensorflow. *
  • Метаданные машинного обучения, основанные на библиотеке метаданных машинного обучения с открытым исходным кодом, разработанной командой Google Tensorflow Extended. Сбор метаданных модельных конвейеров - важный инструмент в документации и прозрачности ваших моделей машинного обучения. *
  • Matching Engine для обеспечения эффективного поиска подобия векторов на основе анизотропного векторного квантования. *
  • Визирь для настройки гиперпараметров в сложных моделях машинного обучения для быстрого экспериментирования в качестве службы оптимизации черного ящика. *
  • Vertex pipelines заменят текущие конвейеры AI Platform Pipelines для автоматизации, мониторинга и управления вашими системами машинного обучения с помощью оркестратора. Вы сможете запускать конвейеры, созданные как на Kubeflow Pipelines SDK, так и на Tensorflow Extended. *
  • Edge Manager для беспрепятственного развертывания и мониторинга пограничных выводов (дополнительная информация появится в ближайшее время).
  • Поиск нейронной архитектуры, чтобы найти оптимальную архитектуру для вашего приложения модели машинного обучения (дополнительная информация появится в ближайшее время).

* в превью

С помощью этих инструментов Google хочет вдвое ускорить окупаемость за счет более полного управления моделями с использованием принципов MLOps и централизованного размещения всего, что связано с искусственным интеллектом. Кроме того, они хотят обслуживать людей с любым уровнем подготовки, за исключением инженеров, которые знают все тонкости GCP. Легкодоступные API-интерфейсы машинного обучения и AutoML хорошо организованы и позволяют компаниям легко экспериментировать с машинным обучением. Еще одно большое внимание уделяется Объясняемому ИИ, чтобы снизить порог, чтобы понять, как работают модели и каковы их ограничения.

В ближайшие пару месяцев мы ожидаем увидеть больше развертываний от Google, которые станут общедоступными или находятся в предварительной версии.

Что это значит для тебя?

Все это означает, что внедрение MLOps стало проще и доступнее для команд машинного обучения. Это означает, что вам не нужно знать GCP наизусть, чтобы найти все инструменты MLOps, разбросанные по консоли GCP. Это улучшение качества жизни для команд по обработке и анализу данных, а также добавление некоторых новых и мощных инструментов в новый унифицированный арсенал.

Многие из их сервисов полностью управляются, но построены на фреймворках с открытым исходным кодом (конвейеры Vertex построены на основе конвейеров Kubeflow и Tensorflow Extended, метаданные Vertex построены на метаданных машинного обучения и т. Д.), Что делает прыжок скорее небольшим препятствием, чем необходимость прыгнуть с шестиметрового прыжка с шестом. Между каждой частью Vertex существует высокая степень перекрестной коммуникации, и хотя именно это делает ее настолько полезной для команд по анализу данных, ее также нелегко перенести на другую платформу. Однако делать выводы пока рано. Поэтому в ML6 мы более подробно рассмотрим эти инструменты и недавно унифицированную платформу Vertex в будущих сообщениях в блогах. Таким образом, мы сможем сами увидеть, где находится этот компромисс переносимости / блокировки с этим новым продуктом GCP.

С практической точки зрения, пользователи текущего стека GCP ML скоро получат возможность миграции. Из документации Vertex:

Vertex AI поддерживает все функции и модели, доступные в AutoML и AI Platform. Однако клиентские библиотеки не поддерживают обратную совместимость интеграции клиентов. Другими словами, вы должны спланировать миграцию своих ресурсов, чтобы воспользоваться функциями Vertex AI.

Как опытные инженеры по машинному обучению, мы можем добавить, что вам тоже нужно выполнить миграцию, так что, возможно, оставьте планирование своему менеджеру и сделайте миграцию самостоятельно.

Помимо шуток, инструкцию по миграции можно найти здесь. Хотя мы еще не тестировали их, это кажется довольно простым, и Google создал инструмент миграции, который поможет вам в этом. Основные отличия заключаются в пересмотре новых цен, новых ролей IAM и т. Д. Процесс миграции представляет собой операцию копирования, поэтому все ресурсы должны продолжать работать по-старому, и вы можете закрыть их, как только вы точно узнаете, что все работает с новым Vertex API.

Следите за сообщениями в блоге: