Погружение в процесс машинного обучения | Навстречу AI
Процесс машинного обучения
Процесс машинного обучения включает 4 основных этапа:
1. Постановка проблемы
Определите цели вашего проекта. Что ты хочешь узнать? У вас есть данные для анализа?
Здесь вы решаете, какую проблему пытаетесь решить, например модель для классификации электронных писем как спам или не спам, модель для классификации опухолевых клеток как злокачественных или доброкачественных, модель для улучшения качества обслуживания клиентов путем направления звонков в разные категории, чтобы на звонки мог отвечать персонал с нужным опытом, модель для прогнозирования получения кредита будет списываться по истечении срока кредита, модель для прогнозирования цены дома на основе различных характеристик или предикторов и т. д.
2. Анализ данных
Собирайте и уточняйте свои данные. Подготовьте репозиторий для хранения ваших данных
Здесь вы обрабатываете данные, доступные для построения модели. Он включает в себя визуализацию данных функций, обработку недостающих данных, обработку категориальных данных, метки классов кодирования, нормализацию и стандартизацию функций, разработку функций, уменьшение размерности, разделение данных на наборы для обучения, проверки и тестирования и т. Д.
3. Построение модели
Выберите инструмент машинного обучения, который соответствует вашим данным и желаемому результату. Выбирайте между автоматизированным процессом, графическим редактором или созданием собственной модели. Обучите модель с помощью доступных данных.
Здесь вы выбираете модель, которую хотите использовать, например линейная регрессия, логистическая регрессия, KNN, SVM, k-средних, моделирование Монте-Карло, анализ временных рядов и т. д. Набор данных должен быть разделен на наборы для обучения, проверки и тестирования. Настройка гиперпараметров используется для точной настройки модели во избежание переобучения. Перекрестная проверка выполняется, чтобы убедиться, что модель хорошо работает на проверочном наборе. После точной настройки параметров модели модель применяется к набору тестовых данных. Производительность модели на наборе тестовых данных примерно равна тому, что можно было бы ожидать, когда модель используется для прогнозирования невидимых данных.
4. Приложение
Оцените модель для создания прогнозов. Сделайте вашу модель доступной для производства. При необходимости измените свою модель.
На этом этапе окончательная модель машинного обучения запускается в производство, чтобы начать улучшать качество обслуживания клиентов или повышать производительность, или решать, должен ли банк одобрять кредит заемщику и т. Д. Модель оценивается в производственных условиях, чтобы оценить ее эффективность. . Это можно сделать, сравнив производительность решения машинного обучения с базовым или контрольным решением с помощью таких методов, как A / B-тестирование. Любые ошибки, возникающие при переходе от экспериментальной модели к ее реальной работе на производственной линии, должны быть проанализированы. Затем это можно использовать для точной настройки исходной модели.
Таким образом, мы обсудили основные этапы процесса машинного обучения. Каждый бизнес может использовать возможности машинного обучения для оптимизации производства или улучшения качества обслуживания клиентов.
Спасибо за прочтение.
