TL; DR В статье собраны рекомендации для бизнес-экспертов и технических экспертов по первому важному шагу, который необходимо сделать перед началом любого проекта машинного обучения - постановке проблемы.

Искусственный интеллект и его подмножество - машинное обучение (ML) - это настоящий ажиотаж XXI века. Писатели-фантасты сочиняют рассказы о роботах, покоряющих человечество; технологические гиганты хвастаются тем, что внедряют в свои продукты искусственный интеллект и машинное обучение; многие компании стремятся его реализовать. Такая огласка создавала впечатление, что машинное обучение - чудодейственное оружие от всех возможных проблем. Как вы могли догадаться, это не так. Во многом зависит от самой ситуации, будет ли машинное обучение лучшим решением для нее или нет. Чтобы правильно выбрать проблему, задайте себе следующие вопросы:

  1. С какими трудностями сталкивается мой продукт?
  2. Будет ли это хорошей проблемой для машинного обучения?

Постановка задачи

Задавая вопрос «Есть ли в моем проекте какие-либо проблемы?», сосредоточьтесь на дилеммах, которые сложно решить с помощью обычного программирования. Например, подумайте о Google Фото, где проблема заключалась в том, чтобы найти конкретную фотографию с помощью поиска по ключевым словам без добавления тегов вручную. Не существует четкого подхода к решению этой проблемы с помощью традиционного программирования, но машинное обучение может решить эту проблему, изучая закономерности в данных и адаптируясь к ним.

В целом, наблюдение за шаблонами в действиях, повторяемых людьми, может показаться первым шагом в автоматизации ваших бизнес-процессов, поскольку человеческий фактор считается причиной до 80% сбоев .

ML - лишь один из инструментов, поэтому используйте его только тогда, когда это возможно. Кроме того, подумайте о других имеющихся у вас проблемах, похожих на те, которые вы пытаетесь исправить. Это может быть полезно для их решения, поскольку подходы и источники данных могут показаться схожими.

После того, как проблема выбрана, хорошо подумайте, почему ее действительно нужно решать. Поразмышляйте над своей мотивацией к решению проблемы. Что нужно выполнить для решения проблемы? Подумайте о преимуществах решения этой проблемы. Какие возможности это открывает? Важно четко понимать преимущества решения проблемы, чтобы извлечь из них выгоду. Если это приносит пользу вашему бизнесу, четко укажите, в чем заключаются эти преимущества. Решите также, как вы узнаете, когда вы их получили. Почему это важно для вас? Проанализируйте, как использовать решение проблемы.

Затем постарайтесь сформулировать вашу проблему как можно яснее. Например, «Мы хотим, чтобы модель машинного обучения предсказывала, как долго будет работать движок нашего инструмента, пока он не потребует ремонта». Но не ограничивайте свою цель показателями, которые вы уже оптимизировали - сконцентрируйтесь на более крупной цели вашего продукта. Тем не менее, имейте в виду, что проблема вашей компании должна быть определена количественно. Сначала необходимо установить измеримые показатели.

После этого выясните, как можно решить проблему вручную. Он может выявить те трудности, которые на самом деле не могут быть удовлетворительно решены с помощью решения, внедренного вручную. Это принесет много ценных знаний, например, где на самом деле хранятся данные, какие функции будут полезны и многие другие аспекты. Накапливайте все эти детали по мере обновления предыдущих частей описания проблемы, особенно гипотез и практических правил. Намерены принимать решения, а не только делать прогнозы - убедитесь, что ваши прогнозы позволяют вам совершать полезные действия.

Эти подготовительные действия полезны для решения проблем, а также для компании, поскольку они экономят будущие расходы, поскольку многие решения ML обычно передаются на аутсорсинг. Есть несколько дополнительных преимуществ, которые вы можете получить, если фреймворк проблемы будет выполняться в сотрудничестве с экспертами по машинному обучению:

  • Четкая формулировка проблемы, которая способствует согласованию между различными сторонами, участвующими в создании решения на основе машинного обучения.
  • Первоначальное видение решения проблемы и его преимуществ для бизнеса
  • Понимание структуры данных и необходимых объемов
  • Метрики, которые будут использоваться для оценки результатов

Типы проблем машинного обучения

Для большинства компаний, планирующих использовать машинное обучение впервые, трудность также заключается в том, чтобы понять, действительно ли проблема, с которой они столкнулись, решается таким образом. Чтобы решить проблему с применением машинного обучения, полезно знать типы проблем машинного обучения, так как это помогает понять, какие инструменты у нас есть.

В зависимости от задач прогнозирования существует три основных типа задач машинного обучения: контролируемое, неконтролируемое и обучение с подкреплением.

Последний - это обучение моделей машинного обучения принятию последовательности решений, позволяющее агенту обучаться в интерактивной среде. Он использует обратную связь методом проб и ошибок, основываясь на своих действиях и опыте. Чтобы заставить машину делать то, что вы хотите, ИИ получает вознаграждение или штрафы за свои действия. Цель состоит в том, чтобы максимизировать общую награду. Он используется в таких сферах, как беспилотные автомобили, персональные рекомендации, робототехника, игры и т. Д.

Контролируемые - это алгоритмы, в которых мы делаем прогнозы на основе набора примеров. Неконтролируемые ищут ранее необнаруженные закономерности в наборе данных без ранее существовавших меток и с минимальным контролем человека.

Контролируемые алгоритмы машинного обучения можно разделить на следующие подкатегории:

  • Алгоритмы классификации - мы используем данные, чтобы предсказать, в какую категорию что-то попадает. Например, классификация электронных писем как «спам» или «не спам», анализ медицинских данных для определения того, входит ли клиент в группу высокого риска по определенному заболеванию.
  • Алгоритмы регрессии - это случаи, когда мы пытаемся предсказать выходную переменную, которая является действительным или непрерывным значением. Например. прогноз ожидаемой заработной платы сотрудников или прогноз температуры на следующей неделе на основе исторических данных.

В неконтролируемых алгоритмах машинного обучения мы предоставляем алгоритмы машинного обучения немаркированные данные. Затем мы просим его найти скрытые характеристики и сгруппировать их, чтобы они имели смысл на основе данных. Одной из наиболее широко решаемых задач обучения без учителя является кластеризация данных. Представителями проблем кластеризации может быть геномика. Мы предоставляем алгоритм с тысячами различных генов, которые затем группируются в группы связанных генов. Поскольку этот метод помогает обнаруживать аномальные данные, он также используется для обнаружения аномалий.

Реальные случаи постановки задач в машинное обучение

Опыт нашей команды в применении машинного обучения в основном лежит в области обнаружения аномалий и профилактического обслуживания. Обнаружение аномалий - это метод, определяющий отклонения набора данных. Обычно нетипичные элементы позволяют прояснить проблемы, от структурного дефекта до нарушений экосистемы банковского мошенничества.

Владельцы бизнеса сначала должны решить, что является нормальным и, следовательно, ненормальным поведением их системы. Одним из наших клиентов был производитель ткани, проблема которого была заявлена ​​как определение аномалий ткачества. ML может анализировать изображения ткани и оценивать дефекты на ее поверхности. Выявление и оценка поверхностных дефектов ткани позволили эффективно оценить качество продукта. Без использования автоматизированной системы им пришлось бы нанять человека, который бы вручную контролировал качество, что было бы ни рентабельным, ни надежным, поскольку человеческий фактор важен для такой рутинной и монотонной работы. С помощью раствора машинного обучения им не нужно пристально следить за каждым сантиметром джинсовой ткани. Камеры наблюдают за всеми ткацкими станками 24 часа в сутки, 7 дней в неделю, а алгоритм уведомляет ответственное лицо об аномалиях, обнаруженных на любой части производственной линии, со всеми необходимыми деталями. Внедрение решения машинного обучения привело как к повышению качества, так и к снижению затрат.

Не все проблемы так просто превратить в проблему машинного обучения и решить; для некоторых может потребоваться больше усилий как от специалистов по бизнесу, так и от экспертов по машинному обучению. Один из наших клиентов недавно решил повысить уровень своей бизнес-аналитики, внедрив в свои машины профилактическое обслуживание. Цель состояла в том, чтобы рассчитать вероятность выхода из строя промышленных устройств Интернета вещей. Изучив этот случай, мы поняли, что проблему трудно решить без качественных исторических данных о прошлых отключениях. Мы знали, когда машина была выключена, но не имели данных о причинах: была ли она отключена для переезда куда-нибудь, из-за блокировки или из-за того, что она действительно сломалась. Вторая проблема с данными заключалась в том, что они были слишком «молодыми», поскольку мы поняли, что им необходимо собирать данные за более длительный период для надлежащего профилактического обслуживания и обнаружения аномалий. Итак, имея недостаточно данных для решения исходной проблемы, мы решили использовать подмножество доступных данных, чтобы сосредоточиться на более реалистичном. В результате компания теперь использует исторические данные для обнаружения аномалий, которые должны помочь клиенту обрабатывать подозрительные и неудачные сеансы использования своих устройств. Гибкий подход позволил нам изменить проблему машинного обучения таким образом, чтобы доступные данные использовались в интересах клиента, при подготовке существующей системы для сбора большего количества данных, необходимых для решения по профилактическому обслуживанию.

Применение существующих данных не всегда очевидно, но как только инженеры машинного обучения поймут доступные данные и бизнес-область, они смогут найти дополнительные решения, которые принесут пользу вашему бизнесу. В приведенном выше случае наша команда машинного обучения дала клиентам предложения о том, что необходимо сделать для внедрения профилактического обслуживания в обозримом будущем, например, какие данные следует собирать и как долго. Мы также сейчас работаем с существующими данными для обнаружения аномалий, что помогает владельцам бизнеса указывать на критические инциденты, такие как технические сбои или любое другое ненормальное поведение системы.

Этот случай демонстрирует важность учета исторических данных при постановке вашей проблемы. Для компании не всегда ясно, есть ли у нее соответствующие качественные данные для решения проблемы с машинным обучением, поэтому вы можете подумать о том, чтобы в первую очередь проконсультироваться с инженерами по науке о данных. Они могут провести предварительный анализ данных, прежде чем профессионалы машинного обучения приступят к делу.

Подведение итогов

Независимо от того, основан ли ваш бизнес на IoT или у вас есть веб-сайт, ориентированный на клиентов, применение методов машинного обучения может быть полезно для вас. Только не бойтесь организовать сотрудничество разных специалистов, которые стремятся мыслить нестандартно, создавая уникальное решение для вашего бизнеса.

P.S. Спасибо за внимание! Надеюсь, вам понравилась статья и вы нашли ее полезной. Хотелось бы увидеть ваши комментарии или дополнительные вопросы.

Рекомендуемые материалы по теме: