Что такое MLflow?

Проще говоря, это инструмент отслеживания. Это помогает вам отслеживать гиперпараметры, показатели и многое другое.

Почему тебе должно быть до этого дело?

Скажем, после того, как вы обучили и сохранили пару моделей для проекта, вы ищете модель, которая дает наилучшее значение для определенной метрики. Если вы не сохранили соответствие между именем файла модели и желаемым значением метрики, вам будет сложно выбрать лучшую модель.

MLflow заменяет ручное бремя хранения этих сопоставлений, добавляя несколько строк кода к нашей существующей кодовой базе.

Разве это не тот «инструмент», который вы давно искали? 😉

Давайте погрузимся в…

Мы собираемся использовать бесплатный сервер отслеживания MLflow, предоставляемый databricks for the community. Это чрезвычайно полезно для людей, у которых нет времени на его настройку и которые хотели бы использовать его прямо сейчас. Конечно, сервер MLflow также можно настроить локально, но мы не будем делать этого здесь.

Сервер MLflow - это тот, который хранит и отслеживает информацию, которую вы ему отправляете.

Настройте MLflow в Databricks:

  • Перейдите по ссылке и завершите процесс регистрации.

Пожалуйста, следуйте приведенной ниже гифке, чтобы настроить сервер отслеживания на блоках данных, и скопируйте название эксперимента, как показано на картинке.

Теперь, когда вы настроили сервер отслеживания, у нас есть немного больше работы, чтобы заставить MLflow работать с colab 😮

  • Запустите первый фрагмент кода в первой ячейке записной книжки. Вам будет предложено ввести только что созданные вами имя пользователя и пароль учетной записи Databricks.
  • После этого запустите второй фрагмент кода в новой ячейке. Убедитесь, что вы передали скопированное имя эксперимента в set_experiment()

Поздравляю! 🎉🎉

Теперь у вас есть рабочая настройка MLflow в вашем colab, пожалуйста, посетите мою следующую статью Введение в MLflow - С Colab - Часть 2/2, где я работаю с примером, использующим MLflow для отслеживания процесса обучения.

Если вам понравилось то, что вы прочитали, пожалуйста, напишите мне в ладоши 👏