Что такое MLflow?
Проще говоря, это инструмент отслеживания. Это помогает вам отслеживать гиперпараметры, показатели и многое другое.
Почему тебе должно быть до этого дело?
Скажем, после того, как вы обучили и сохранили пару моделей для проекта, вы ищете модель, которая дает наилучшее значение для определенной метрики. Если вы не сохранили соответствие между именем файла модели и желаемым значением метрики, вам будет сложно выбрать лучшую модель.
MLflow заменяет ручное бремя хранения этих сопоставлений, добавляя несколько строк кода к нашей существующей кодовой базе.
Разве это не тот «инструмент», который вы давно искали? 😉
Давайте погрузимся в…
Мы собираемся использовать бесплатный сервер отслеживания MLflow, предоставляемый databricks for the community. Это чрезвычайно полезно для людей, у которых нет времени на его настройку и которые хотели бы использовать его прямо сейчас. Конечно, сервер MLflow также можно настроить локально, но мы не будем делать этого здесь.
Сервер MLflow - это тот, который хранит и отслеживает информацию, которую вы ему отправляете.
Настройте MLflow в Databricks:
- Перейдите по ссылке и завершите процесс регистрации.
Пожалуйста, следуйте приведенной ниже гифке, чтобы настроить сервер отслеживания на блоках данных, и скопируйте название эксперимента, как показано на картинке.
Теперь, когда вы настроили сервер отслеживания, у нас есть немного больше работы, чтобы заставить MLflow работать с colab 😮
- Запустите первый фрагмент кода в первой ячейке записной книжки. Вам будет предложено ввести только что созданные вами имя пользователя и пароль учетной записи Databricks.
- После этого запустите второй фрагмент кода в новой ячейке. Убедитесь, что вы передали скопированное имя эксперимента в
set_experiment()
Поздравляю! 🎉🎉
Теперь у вас есть рабочая настройка MLflow в вашем colab, пожалуйста, посетите мою следующую статью Введение в MLflow - С Colab - Часть 2/2, где я работаю с примером, использующим MLflow для отслеживания процесса обучения.
Если вам понравилось то, что вы прочитали, пожалуйста, напишите мне в ладоши 👏