Обучение и тестирование моделей классификации текста с помощью Google Cloud Vertex AI

Обучение и тестирование моделей классификации текста с помощью Google Cloud Vertex AI

Используя функцию Google AutoML, модели классификации можно создавать практически без технических усилий.

Для начала несколько общих замечаний:

1. Есть много элементов Vertex AI в целом и AutoML в частности, что напоминает мне HuggingFace🤗 autoTRAIN.
2. AutoML позволяет быстро создавать прототипы и исследовать наборы данных, используя подход без кодовой студии.
3. Vertex AI имеет два варианта классификации текста: классификацию с одной или несколькими метками. Создание иерархий классов или таксономий невозможно.
4. Время обучения модели относительно велико. Традиционные модели NLU добились больших успехов с точки зрения дополнительного обучения. Инкрементное обучение — это понятие добавления новых данных к существующей модели. Вдобавок к этому значительно сократилось время обучения традиционных моделей NLU.

Несмотря на то, что AutoML предназначен для упрощения процесса создания модели ML, двумя элементами, которые легко настраиваются, являются разделение данных и наборы аннотаций.

Разделение данных. По умолчанию AutoML случайным образом назначает каждый элемент в вашем наборе данных обучающим, проверочным и тестовым наборам в соотношении 80/10/10 соответственно. Вы можете изменить это соотношение или даже вручную назначить каждый элемент данных набору.

Наборы аннотаций. В наборах аннотаций хранятся аннотации, поэтому вы можете использовать тот же набор данных для других моделей и целей. Например, вы можете использовать тот же самый набор данных «счастье» для обучения модели классификации с несколькими метками вместо модели с одной меткой.

Но я спешу упомянуть, что Vertex AI не хватает восходящего, ориентированного на данные подхода к сбору и структурированию обучающих данных.

⭐️ Подпишитесь на меня в LinkedIn, чтобы быть в курсе обновлений разговорного ИИ ⭐️

В предыдущем посте я прошел через процесс создания набора данных и обучения модели машинного обучения.

На изображении ниже видна панель инструментов Vertex AI, в разделе последние модели новая модель указана со средней точностью.

После доступа к модели в верхней части страницы появляется полоса прогресса. Здесь вновь созданную модель можно оценить, развернуть, протестировать и т. д.

На изображении ниже вы можете видеть, что модель можно протестировать с более длинным вводом. Справа от изображения видны ярлыки с отмеченным ярлыком enjoy_the_moment.

Вернувшись на вкладку оценки, вы увидите, что для каждой модели доступно несколько графических индикаторов быстрого просмотра.

Ниже вы видите матрицу путаницы:

А ниже виден компромисс между точностью и отзывом при разных порогах достоверности.

➡️ более низкий порог приводит к более высокому отзыву, но обычно ниже точность.

➡️ более высокий порог приводит к более низкому отзыву, но обычно более высокому точность.

Подробнее о пороге, точности и отзыве читайте здесь.

В заключение

В следующей статье я хочу рассмотреть производственное развертывание моделей Vertex.

⭐️ Подпишитесь на меня в LinkedIn, чтобы быть в курсе обновлений разговорного ИИ ⭐️

В настоящее время я являюсь главным евангелистом @ HumanFirst. Я исследую и пишу обо всем на стыке ИИ и языка; начиная от LLM, чат-ботов, голосовых роботов, платформ разработки, скрытых пространств, ориентированных на данные и т. д.