Ричард Лиау, Кай Фрике
Ray Tune - один из первых масштабируемых инструментов оптимизации гиперпараметров, который быстро вырос в пространстве, которое исторически требовало от пользователей создания собственных наборов инструментов. Спустя всего несколько лет мы теперь наблюдаем Настройку обучающих алгоритмических торговых стратегий в JP Morgan и являемся частью некоторых из самых успешных платформ машинного обучения, включая Microsoft Azure RL и Amazon SageMaker.
Пользователи любят Ray Tune, потому что он позволяет им легко оптимизировать параметры с помощью самых современных алгоритмов. Они получают доступ к таким инструментам, как байесовская оптимизация и обучение на основе популяции, без необходимости самостоятельно реализовывать основные функции. Кроме того, Ray Tune дает им возможность безотказно масштабироваться от портативного компьютера до кластера, состоящего из сотен узлов и графических процессоров, просто изменив пару строк кода.
Наконец, Ray Tune является частью более крупной экосистемы Ray, предоставляющей пользователям доступ к обучению с подкреплением, обслуживанию модели и возможностям масштабируемых распределенных систем. Эти функции и экосистема позволяют разработчикам машинного обучения сосредоточиться на создании своих приложений машинного обучения, а не на управлении инфраструктурой.
В то время как Ray Tune (и Ray в целом) предоставляют отличные строительные блоки и базовые реализации для ускорения исследований, у Ray Tune всегда был пробел: управление экспериментами и управление версиями моделей.
Пробел: управление экспериментом и версионирование модели
С момента создания Ray Tune мы упаковали Ray Tune с поддержкой TensorBoard прямо из коробки. Хотя TensorBoard предоставляет основы, мы заметили множество пробелов и болевых точек за последние годы.
Пользователи рассказывали нам, что много времени они тратили на копирование и систематизацию файлов TensorBoard с разных машин. Кроме того, по мере увеличения масштаба развертки параметров TensorBoard выходил из строя.
Пока мы разговаривали с сообществом, постоянно возникали запросы на интеграцию с удивительными инструментами управления экспериментами. Мы начали видеть широкую возможность помочь нашим пользователям: что, если Ray Tune объединил свои усилия с лучшими в своем классе инструментами разработки машинного обучения, чтобы упростить выполнение и отслеживание экспериментов?
Ray Tune ❤️ Веса и смещения
После опроса сообщества Weights and Biases стал идеальным партнером, помогающим сохранить все метаданные, созданные Ray Tune во время тренировки. После совместной работы с командой мы интегрировали Weights & Biases в Ray Tune, чтобы пользователи могли легко автоматически сохранять свои эксперименты и отслеживать их эффективность.
Почему эта интеграция «волшебная»
Эта интеграция волшебна по нескольким причинам. Во-первых, он сочетает в себе два отличных инструмента для масштабирования экспериментов с машинным обучением и разработки моделей.
Ray Tune делает это за счет упрощения нескольких аспектов масштабирования и проведения экспериментов:
- Простое распределенное выполнение: Ray Tune упрощает масштабирование от одного узла до нескольких графических процессоров и еще нескольких узлов.
- Большое количество алгоритмов: Ray Tune имеет огромное количество алгоритмов, включая обучение на основе населения, ASHA и HyperBand.
- Независимость от фреймворка: Ray Tune работает во всех фреймворках, включая PyTorch, Keras, Tensorflow, XGBoost и PyTorchLightning.
- Отказоустойчивость: Ray Tune построен на основе Ray, что обеспечивает отказоустойчивость прямо из коробки.
Веса и смещения значительно упрощают отслеживание и производство экспериментов. Веса и смещения делают это за счет:
- Быстрая интеграция: веса и отклонения можно быстро интегрировать в ваши текущие скрипты Python, чтобы немедленно начать запись показателей.
- Централизованная отчетность и совместная работа. Программа "Веса и предубеждения" представляет собой простую централизованную панель инструментов, с помощью которой команды и отдельные лица могут отслеживать результаты и делиться своими успехами с помощью отчетов по любому количеству проектов.
- Ведение журнала артефактов: сохраняйте артефакты, такие как наборы данных и модели, на W&B, чтобы отслеживать конвейеры, настраивать модели или данные о версиях с течением времени.
- Воспроизводимость моделей. Позволяет сохранять все необходимое для воспроизведения моделей в будущем либо на веб-сайте W&B, либо в вашем собственном хранилище.
Как мне его использовать?
Веса и смещения - это первоклассная интеграция в Ray, начиная с версии 0.8.7.
В настоящее время он доступен в ночной версии Ray - следуйте инструкциям здесь, чтобы установить ночную версию Ray, и посмотрите документацию, чтобы начать работу.
Мы также опубликовали Отчет по W&B, который показывает вам пример использования приложения.
Простой пример совместного использования W&B и Ray Tune.
Смотрите в документации рабочие примеры.
С нетерпением жду Ray и Weights & Biases
Команда Ray и Weights and Biases усердно работает над тем, чтобы упростить разработку приложений для машинного обучения, и у нас есть ряд вещей, которые помогут сообществу узнать больше!
Разработчики Ray Tune на W&B AMA: Присоединяйтесь к разработчикам Ray Tune для AMA по масштабированию настройки гиперпараметров.
Когда: пятница, 14 августа, 9:00 по тихоокеанскому времени.
Где: сообщество W&B Slack на канале # ama-ml-questions.
Приглашаем вас начать размещать все ваши вопросы по оптимизации распределенных гиперпараметров в # ama-ml-questions прямо сейчас. Команда Ray / Tune ответит на них с 9 до 10 утра в пятницу.
Ray Summit: Ray Summit - это БЕСПЛАТНЫЙ виртуальный саммит по всем вопросам, связанным с Ray! Присоединяйтесь к нам, чтобы увидеть выступления ведущих компьютерных ученых, основателей Anyscale и Weights & Biases.
Помимо этих двух предстоящих мероприятий, мы рады представить вам лучшую инфраструктуру распределенных вычислений и инструменты разработчика для машинного обучения, чтобы упростить переход от разработки модели к производству за минимальное количество шагов. Нам не терпится увидеть, что вы создадите.
