Что такое машинное обучение?
Машинное обучение — это система, которая может учиться на примере путем самосовершенствования и без явного написания кода программистом. Прорыв связан с идеей, что машина может самостоятельно учиться на данных (то есть на примере) для получения точных результатов.
Машинное обучение объединяет данные со статистическими инструментами для прогнозирования результатов. Эти выходные данные затем используются корпорацией для принятия практических решений. Машинное обучение тесно связано с интеллектуальным анализом данных и байесовским прогнозным моделированием. Машина получает данные на вход, использует алгоритм для формулирования ответов.
Типичными задачами машинного обучения являются рекомендации. Для тех, у кого есть учетная запись Netflix, все рекомендации фильмов или сериалов основаны на исторических данных пользователя. Технологические компании используют неконтролируемое обучение для улучшения взаимодействия с пользователем с помощью персонализированных рекомендаций.
Машинное обучение также используется для решения различных задач, таких как обнаружение мошенничества, профилактическое обслуживание, оптимизация портфеля, автоматизация задач и т. д.
Как работает машинное обучение?
Машинное обучение — это мозг, в котором происходит обучение. Способ обучения машины подобен человеческому. Люди учатся на опыте. Чем больше мы знаем, тем легче мы можем предсказать. По аналогии, когда мы сталкиваемся с неизвестной ситуацией, вероятность успеха ниже, чем в известной ситуации. Машины обучаются одинаково. Чтобы сделать точный прогноз, машина видит пример. Когда мы даем машине аналогичный пример, она может вычислить результат. Однако, как и у человека, если он скармливает ранее невиданный пример, машине трудно предсказать.
Основной целью машинного обучения является обучение и вывод.
1. Обучение
Прежде всего, машина учится, обнаруживая закономерности. Это открытие сделано благодаря данным. Одна из важнейших задач специалиста по обработке и анализу данных — тщательно выбирать, какие данные предоставлять машине. Список атрибутов, используемых для решения проблемы, называется вектором признаков. Вы можете думать о векторе признаков как о подмножестве данных, которое используется для решения проблемы.
Машина использует несколько причудливых алгоритмов, чтобы упростить реальность и преобразовать это открытие в модель. Поэтому этап обучения используется для описания данных и их обобщения в модели.
Например, машина пытается понять взаимосвязь между заработной платой человека и вероятностью посещения модного ресторана. Оказывается, машина находит положительную связь между заработной платой и посещением дорогого ресторана: это модель.
2. Вывод
Когда модель построена, можно проверить, насколько она эффективна, на невиданных ранее данных. Новые данные преобразуются в вектор признаков, проходят через модель и выдают прогноз. Это все прекрасная часть машинного обучения. Нет необходимости обновлять правила или заново обучать модель. Вы можете использовать ранее обученную модель, чтобы делать выводы на основе новых данных.
Жизнь программ машинного обучения проста и может быть обобщена в следующих пунктах:
- Определите вопрос
- Собирать данные
- Визуализируйте данные
- Алгоритм обучения
- Протестируйте алгоритм
- Собирайте отзывы
- Уточнить алгоритм
- Повторяйте 4–7, пока результаты не будут удовлетворительными.
- Используйте модель, чтобы сделать прогноз
Алгоритмы машинного обучения и где они используются?
Машинное обучение можно разделить на две общие задачи обучения: Контролируемое и Неконтролируемое. Есть много других алгоритмов.
1. Контролируемое обучение
Алгоритм использует обучающие данные и отзывы от людей, чтобы узнать взаимосвязь заданных входных данных с заданными выходными данными. Например, практикующий врач может использовать расходы на маркетинг и прогноз погоды в качестве исходных данных для прогнозирования продаж банок.
Вы можете использовать обучение с учителем, когда известны выходные данные. Алгоритм будет предсказывать новые данные.
Существует две категории контролируемого обучения:
- Задача классификации
- Задача регрессии
1.1. Классификация
Представьте, что вы хотите предсказать пол клиента для рекламы. Вы начнете собирать данные о росте, весе, работе, зарплате, корзине покупок и т. д. из своей базы данных клиентов. Вы знаете пол каждого вашего клиента, это может быть только мужчина или женщина. Цель классификатора будет состоять в том, чтобы назначить вероятность быть мужчиной или женщиной (т. е. метку) на основе информации (т. е. собранных вами признаков). Когда модель научилась распознавать мужчину или женщину, вы можете использовать новые данные для прогнозирования. Например, вы только что получили новую информацию от неизвестного клиента и хотите узнать, мужчина это или женщина. Если классификатор предсказывает мужчина = 70%, значит, алгоритм на 70% уверен, что этот клиент мужчина, а на 30% — женщина.
Этикетка может быть двух и более классов. В приведенном выше примере есть только два класса, но если классификатору нужно предсказать объект, он имеет десятки классов (например, стекло, стол, обувь и т. д. каждый объект представляет класс).
1.2. Регрессия
Когда выход представляет собой непрерывное значение, задача представляет собой регрессию. Например, финансовому аналитику может потребоваться спрогнозировать стоимость акций на основе ряда характеристик, таких как собственный капитал, предыдущие результаты акций, макроэкономический индекс. Система будет обучена оценивать стоимость акций с наименьшей возможной ошибкой.
2. Обучение без учителя
При обучении без учителя алгоритм исследует входные данные без явной выходной переменной (например, исследует демографические данные клиентов для выявления закономерностей).
Его можно использовать, когда вы не знаете, как классифицировать данные, и хотите, чтобы алгоритм находил закономерности и классифицировал данные за вас.
Применение машинного обучения
Дополнение:
- Машинное обучение, которое помогает людям выполнять их повседневные задачи лично или в коммерческих целях, не имея полного контроля над результатом. Такое машинное обучение используется по-разному, например, виртуальный помощник, анализ данных, программные решения. Основной пользователь должен уменьшить количество ошибок из-за человеческого фактора.
Автоматизация:
- Машинное обучение, которое работает полностью автономно в любой области без вмешательства человека. Например, роботы, выполняющие основные технологические операции на производственных предприятиях.
Финансовая отрасль
- Машинное обучение становится все более популярным в финансовой сфере. Банки в основном используют ML для поиска закономерностей в данных, а также для предотвращения мошенничества.
Государственная организация
- Правительство использует ML для управления общественной безопасностью и коммунальными услугами. Возьмем пример Китая с массовым распознаванием лиц. Правительство использует искусственный интеллект для предотвращения пешеходов.
Здравоохранение
- Здравоохранение было одной из первых отраслей, которая начала использовать машинное обучение с распознаванием изображений.
Маркетинг
- Широкое использование ИИ в маркетинге осуществляется благодаря широкому доступу к данным. До эпохи массовых данных исследователи разрабатывают передовые математические инструменты, такие как байесовский анализ, для оценки ценности клиента. С бумом данных отдел маркетинга полагается на ИИ для оптимизации отношений с клиентами и маркетинговой кампании.
Почему машинное обучение важно?
Машинное обучение — лучший инструмент на сегодняшний день для анализа, понимания и выявления закономерностей в данных. Одна из основных идей машинного обучения заключается в том, что компьютер можно обучить автоматизировать задачи, которые были бы изнурительными или невыполнимыми для человека. Явное нарушение традиционного анализа заключается в том, что машинное обучение может принимать решения с минимальным вмешательством человека.
Возьмем следующий пример; розничный агент может оценить цену дома, основываясь на собственном опыте и знании рынка.
Машину можно научить преобразовывать знания эксперта в функции. Характеристики — это все характеристики дома, района, экономической среды и т. д., которые определяют разницу в цене. Эксперту потребовалось несколько лет, чтобы овладеть искусством оценки стоимости дома. Его экспертиза становится все лучше и лучше после каждой продажи.
Машине требуются миллионы данных (т. е. пример), чтобы овладеть этим искусством. В самом начале обучения машина делает ошибку, как младший продавец. Как только машина увидит весь пример, она получит достаточно знаний, чтобы произвести оценку. При этом с невероятной точностью. Машина также может соответствующим образом скорректировать свою ошибку.
Большинство крупных компаний осознали ценность машинного обучения и хранения данных. По оценкам McKinsey, стоимость аналитики колеблется от $9,5 трлн до $15,4 трлн, в то время как от $5 до 7 трлн можно отнести к наиболее передовые технологии ИИ.
Пример применения машинного обучения в цепочке поставок
Машинное обучение дает потрясающие результаты для визуального распознавания образов, открывая множество потенциальных приложений для физического осмотра и технического обслуживания по всей сети цепочки поставок.
Неконтролируемое обучение может быстро найти сопоставимые шаблоны в разнообразном наборе данных. В свою очередь, машина может выполнять проверку качества по всему логистическому узлу, отгрузку с повреждениями и износом.
Например, платформа IBM Watson может определять повреждения транспортных контейнеров. Watson объединяет визуальные и системные данные для отслеживания, составления отчетов и предоставления рекомендаций в режиме реального времени.
В прошлом году менеджер по запасам в значительной степени полагался на основной метод оценки и прогнозирования запасов. При объединении больших данных и машинного обучения были реализованы более совершенные методы прогнозирования (улучшение на 20–30 % по сравнению с традиционными инструментами прогнозирования). С точки зрения продаж это означает увеличение от 2 до 3 % из-за потенциального снижения стоимости запасов.
