Вартика Сингх (NVIDIA), Джеффри Ценг (PM for RAPIDS, NVIDIA), Пит Маккиннон (Red Hat), Абхишек Гупта (Google)

Рабочие процессы в области науки о данных сложны, нетривиальны в управлении и требуют больших вычислительных ресурсов. NVIDIA и команда Kubeflow стараются упростить процесс и одновременно ускорить его.

Вчера Kubeflow объявил о доступности библиотек науки о данных с ускорением на GPU RAPIDS в виде изображений на Kubeflow Pipelines.

По своей сути сложные конвейеры обработки данных охватывают итерационные фазы приема, проверки, обучения, развертывания и многого другого. Они масштабируются по кластерам серверов, на которых выполняется программное обеспечение из разных частей рабочего процесса. И они часто требуют интенсивных вычислений и операций ввода-вывода. Все это приводит к медленным циклам разработки и развертывания модели машинного обучения.

Интеграция RAPIDS с Kubeflow Pipelines упрощает рабочий процесс разработки модели и значительно сокращает время сквозных итераций модели за счет автоматизации развертывания открытых инструментов анализа данных с ускорением на GPU. Комбинируя простую оркестровку конвейеров машинного обучения с RAPIDS, набором библиотек с ускорением CUDA, специалисты по данным могут значительно быстрее обучать и развертывать конвейеры машинного обучения для решения бизнес-задач.

Kubeflow - это облачная платформа для машинного обучения, построенная на базе Kubernetes, которая сокращает время разработки моделей машинного обучения. Он предоставляет инструменты разработки для непрерывных рабочих процессов машинного обучения в среде, которая легко переводится в производственную среду, а также набор разработанных Google и других структур OSS, которые позволяют специалистам по данным и специалистам по машинному обучению разрабатывать свои сквозные конвейеры.

RAPIDS на Kubeflow

Kubeflow позволяет пользователям создавать записные книжки Jupyter, используя предварительно созданные или настраиваемые среды выполнения Jupyter, и максимально беспрепятственно развертывать их в производственной среде. Образ RAPIDS с использованием графических процессоров NVIDIA и библиотек RAPIDS на конвейерах Kubeflow сокращает время до развертывания с момента загрузки.

Пользователям просто нужно перейти в интерфейс Kubeflow JupyterHub Spawner, выбрать соответствующий образ контейнера и указать требования к ресурсам для контейнера, включая требования к графическому процессору NVIDIA. Интерфейс средства создания по умолчанию перечисляет несколько изображений в раскрывающемся списке, но также позволяет пользователю ввести путь к изображению. Для изображения RAPIDS вы можете вставить «gcr.io/kubeflow-dev/kubeflow-rapidsai-notebook:lates post.

Когда ноутбук будет готов, пользователи могут легко экспериментировать и разрабатывать преобразование данных и обучение с помощью RAPIDS.

Благодаря доступности образов Jupyter на основе RAPIDS конечные пользователи могут создавать и выполнять ускоренный, сквозной анализ данных и конвейер машинного обучения на графических процессорах Kubeflow и NVIDIA.

Узнайте больше о Kubeflow и RAPIDS.

Первоначально опубликовано на medium.com 12 декабря 2018 г.