С тех пор, как Google опубликовал Tensorflow, его применение в глубоком обучении значительно расширилось. Хотя он является гибким, он не обеспечивает комплексную производственную систему. С другой стороны, у Сивиллы есть сквозные возможности, но не хватает гибкости. Затем Google предложил идею Tensorflow Extended (TFX) в качестве платформы машинного обучения в производственном масштабе на Tensorflow, используя преимущества фреймворков Tensorflow и Sibyl.

Установка ТФХ

Вы можете установить TFX через PyPI.

!pip install tfx

Стандартные компоненты TFX

Конвейер TFX — это последовательность компонентов, реализующих конвейер машинного обучения, предназначенный для масштабируемых и высокопроизводительных задач машинного обучения. Аналогичным образом, он включает в себя моделирование, обучение, обслуживание логических выводов и управление развертыванием в онлайн, нативных мобильных устройствах и целях JavaScript.

Конвейер TFX обычно включает следующие компоненты:

ПримерГен

Компонент конвейера ExampleGen TFX — это точка входа в ваш конвейер, который принимает данные. В качестве входных данных ExampleGen поддерживает готовый прием внешних источников данных, таких как CSV, TF Records, Avro и Parquet. В качестве выходных данных ExampleGen создает примеры TF или примеры последовательности TF, которые очень эффективны в производительных представлениях наборов данных, которые могут последовательно считываться нижестоящими компонентами.

СтатистикаГен

Компонент конвейера StatisticsGen TFX генерирует статистику функций как по данным обучения, так и по данным обслуживания, которые могут использоваться другими компонентами конвейера.

СхемаГен

Компоненты TFX используют описание ваших входных данных, называемое схемой. Схема является экземпляром schema.proto. Он может указывать типы данных для значений признаков, должен ли признак присутствовать во всех примерах, допустимые диапазоны значений и другие свойства. Кроме того, компонент конвейера SchemaGen автоматически генерирует схему, выявляя типы, категории и диапазоны из обучающих данных.

Пример Валидатора

Компонент конвейера ExampleValidator выявляет аномалии в обучении и обслуживании данных. Он может обнаруживать различные классы аномалий в данных. Кроме того, он может:

  • Выполнять проверки достоверности, сравнивая статистику данных со схемой, кодифицирующей ожидания пользователя.
  • Обнаруживает перекос в обучении, сравнивая данные обучения и обслуживания.
  • Обнаружьте дрейф данных, просматривая серию данных.

Трансформация

Компонент конвейера Transform TFX выполняет разработку функций для артефакта данных примеров TF, созданного компонентом ExampleGen. Использование артефакта схемы данных из SchemaGen или импорт из внешних источников.

Тренер

Компонент конвейера Trainer TFX обучает модель TensorFlow. Компонент тренера создает по крайней мере одну модель для логического вывода и служит в формате сохраненной модели TensorFlow. Безопасная модель содержит полную программу TensorFlow, включая веса и вычисления.

"Тюнер"

Компонент Tuner настраивает гиперпараметры модели. Компонент Tuner — это новейший компонент эффектов TFX, который широко использует API-интерфейс тюнера Python Keras для настройки гиперпараметров. В качестве входных данных компонент тюнера принимает преобразованные данные в артефактах графа преобразования, а в качестве выходных данных компоненты тюнера выводят артефакт гиперпараметра.

Оценщик

Компонент оценщика будет использовать модель, созданную инструктором в исходном артефакте входных данных. Кроме того, он проведет тщательный анализ с использованием библиотеки анализа моделей TensorFlow.

ИнфраВалидатор

InfraValidator — компонент TFX, используемый в качестве уровня раннего предупреждения перед запуском модели в производство. Название InfraValidator произошло от того факта, что он проверяет модель в реальной инфраструктуре, обслуживающей модели. Если оценщик гарантирует работоспособность модели, InfraValidator гарантирует, что модель механически исправна.

Толкач

Компонент Pusher используется для отправки проверенной модели в цель развертывания во время обучения или повторного обучения модели.

На этой диаграмме показан поток данных между этими компонентами:

TFX-библиотеки

TFX включает в себя как библиотеки, так и компоненты конвейера. На этой диаграмме показаны взаимосвязи между библиотеками TFX и компонентами конвейера:

Библиотеки и компоненты TFX охватывают типичный сквозной конвейер машинного обучения, который начинается с приема данных и заканчивается обслуживанием модели.

Кроме того, показанные выше задачи доступны в Python и могут быть установлены отдельно. Но желательно просто установить TFX, который идет со всеми компонентами.

Заключение

В этом блоге мы рассмотрели основы расширенных (TFX) компонентов и библиотек Tensorflow.

Счастливого обучения :)