По мере того как искусственный интеллект и машинное обучение становятся универсальными в нашем обществе, все больше и больше компаний начинают инвестировать в эти технологии для поддержки своих бизнес-решений, снижения затрат и повышения эффективности производства. Как бы ново это ни звучало, ИИ и машинное обучение — это не волшебство. Статья 2019 года, опубликованная Pactera и Nimdzi Insights, показывает, как 85% процентов инициатив в области ИИ терпят неудачу. Итак, почему компании с достаточными технологиями, финансированием и персоналом не видят результатов своих инициатив в области науки о данных?
Чтобы ответить на этот вопрос, нам сначала нужно понять процесс инициативы ИИ от начала до развертывания. Внедрение ИИ состоит из двух основных этапов; этап обучения и этап вывода.
Фаза обучения:
- Специалисты по данным решают, какие модели использовать и как эти модели реализовать.
- Модели обучаются на данных, а результаты оцениваются на предмет точности прогноза.
- Данные преобразуются в модели машинного обучения, готовые к применению к данным «реального мира».
Фаза вывода:
- Модель ML применяется к конкретному варианту использования.
- Компания определяет, правильно ли и с достаточной точностью модель обобщает реальные данные компании.
- В модель вносятся коррективы, и при необходимости могут быть добавлены дополнительные обучающие данные.
- Компания может использовать информацию из моделей для принятия бизнес-решений.
Поскольку так много компаний сообщают о многочисленных неудачных проектах машинного обучения, очевидно, что существует множество проблем, связанных с внедрением искусственного интеллекта. Компании без надлежащего направления и планирования с точки зрения ИИ будут изо всех сил пытаться идти в ногу с конкурентами и отставать в своих отраслях. Успешное внедрение алгоритмов машинного обучения в бизнес-процессы необходимо, и компании сталкиваются с растущим давлением, заставляющим их тщательно инвестировать в науку о данных, чтобы увидеть результаты.
Pandio, служба распределенного обмена сообщениями, была разработана с целью помочь компаниям более эффективно подключать свои данные к моделям AI/ML в облаке. Используя новую и невероятно мощную технологию с открытым исходным кодом Apache Pulsar, Pandio разработала единственную в своем роде распределенную систему обмена сообщениями, которая обеспечивает высокую пропускную способность (до миллиардов событий в день), низкую задержку и нулевую потерю данных. Таким образом, Pandio является достойным внимания для компаний, стремящихся извлечь выгоду из инициатив в области ИИ, которые, в свою очередь, могут принести отличную прибыль.
Вот две основные причины, по которым инициативы машинного обучения и искусственного интеллекта не внедряются в бизнес-процессы, а также способы преодоления этих проблем с помощью размещенного решения Pandio.
1. Переход от этапа обучения к этапу вывода
Основная трудность, с которой сталкиваются компании, — это наведение мостов между командами специалистов по науке о данных и специалистов по эксплуатации. Компаниям уже сложно найти специалистов по данным с опытом работы в отрасли, а также сильными лидерскими и коммуникативными способностями. Однако даже при наличии сильной команды специалистов по данным компании часто сталкиваются с проблемами, когда модели машинного обучения готовы к передаче операционной группе для включения в бизнес-процесс (переход от обучения к выводу).
Отсутствие связи и понимания цели и дизайна модели, а также различия в инструментах специалистов по данным и специалистов по эксплуатации являются одними из основных проблем этого процесса. Как объясняется в статье Forbes о внедрении ИИ, специалисты по данным и инженеры по машинному обучению часто строят свои модели на ноутбуках и других инструментах, специально предназначенных для науки о данных, тогда как операционная сторона будет использовать свои собственные уникальные инструменты. Это приводит к трудностям и задержкам в развертывании этих моделей, а также к отсутствию связи между командами компании.
Стратегии успеха и решение Pandio:
Обеспечение эффективного сотрудничества всех команд и правильного понимания этих инициатив в области науки о данных имеет важное значение для получения большей отдачи от ИИ. Специалисты по данным и специалисты по эксплуатации должны быть на одной волне, когда дело доходит до перехода от этапа обучения к этапу логического вывода. Для этого необходимо определить формализованный процесс передачи, описывающий, как проекты по науке о данных передаются группе управления операционным проектом. Когда специалисты по обработке и анализу данных и менеджеры проектов в других отделах находятся на одной волне, большее число инициатив в области ИИ будет иметь более эффективное управление, что приведет к более плавной интеграции инициатив в области обработки данных в бизнес-процесс. Тем не менее, поиск подходящих специалистов по данным, инженеров и специалистов по MLOps (операции машинного обучения) является трудным для многих компаний и может быть дорогостоящим или требовать длительного процесса адаптации, а это означает, что многим компаниям для достижения успеха будет лучше искать не только внутренние ресурсы.
Pandio, построенный на Apache Pulsar, чрезвычайно интуитивно понятен и может самостоятельно запускать весь распределенный обмен сообщениями для компании. Уникальные решения Pandio позволяют специалистам по обработке и анализу данных и инженерам по машинному обучению сосредоточиться исключительно на разработке и совершенствовании своих моделей машинного обучения, не беспокоясь о других задействованных процессах. Наряду с этим система Pandio анализирует эффективность модели в режиме реального времени, используя данные и делая прогноз относительно того, что должна делать модель. Он также может вносить соответствующие изменения и оценивать, были ли эти изменения эффективными или нет. Кроме того, Pandio может узнать, принимает ли он правильные решения с течением времени, и вносит изменения, чтобы постоянно повышать производительность системы. Pandio явно обеспечивает производительность и надежность, не имеющие себе равных в отрасли, что делает его предпочтительным подходом для внедрения искусственного интеллекта в любую область бизнеса.
2. Интерпретируемость ИИ
Еще одна проблема, с которой сталкиваются компании, заключается в том, что специалисты по данным и инженеры, которых нанимают исключительно для создания моделей машинного обучения, часто не могут эффективно интерпретировать свои алгоритмы и результаты для бизнес-лидеров. С точки зрения бизнеса должна быть абсолютная уверенность в том, что инициатива в области ИИ принесет пользу, и часто отсутствие взаимопонимания между ними и их учеными данных приводит к провалу инициативы. В дополнение к этому, некоторые модели, использующие обучение без учителя, будут иметь очень высокую точность с очень небольшой объяснимостью. Это означает, что лица, принимающие решения в компании, должны быть уверены, что их данные надежны и что их модель была точно обучена, чтобы принять решение о реализации своей инициативы в области ИИ. Чаще всего сочетание этих проблем заставляет бизнес-лидеров отказываться от инициатив ИИ и продолжать традиционные бизнес-процессы.
Стратегии успеха и решение Pandio:
Компании должны убедиться, что у них есть квалифицированные менеджеры проектов, обладающие знаниями как в технической, так и в коммерческой сферах, возглавляющих эти инициативы. Крайне важно, чтобы между командой специалистов по обработке и анализу данных и высшим руководством существовала прочная связь. Командам специалистов по обработке и анализу данных нужны лидеры, которые понимают обе стороны, чтобы эффективно общаться с лицами, принимающими решения, и внедрять эти модели. Наличие влиятельных коммуникаторов, которые могут транслировать работу специалистов по данным бизнес-лидерам, может оказать очень положительное влияние на доверие бизнес-лидеров и одобрение инициатив по науке о данных. Кроме того, для специалистов по данным также важно не полагаться исключительно на неконтролируемое обучение. Включение оценки данных человеком и контролируемого или полуконтролируемого обучения может быть лучше для оценки качества алгоритмов, а также интерпретируемости для бизнес-стороны.
Apache Pulsar, который в настоящее время становится превосходной системой PubSub по сравнению со старой версией Apache Kafka, оказался чрезвычайно эффективным и надежным. Отраслевая аналитическая компания GigaOm провела анализ Pulsar и Kafka и обнаружила, что производительность Apache Pulsar в 2,5 раза выше, а задержка на 40 % меньше. С точки зрения руководителей компаний, услуги Pandio приносят невероятную прибыль при 60% стоимости. ИИ и распределенный обмен сообщениями с Pandio обеспечивают надлежащее управление и успех инициатив компании в области машинного обучения. Благодаря нулевой потере данных работа с усовершенствованной системой распределенного обмена сообщениями Pandio, несомненно, приведет к внедрению большего количества инициатив ИИ в бизнес-процессы.
Об авторе
Куша Джадбабаи — специалист по данным, работающий с Pandio, службой распределенного обмена сообщениями номер один, построенной на Apache Pulsar. Куша в настоящее время учится в Калифорнийском университете в Сан-Диего по специальности Наука о данных и по специальности Предпринимательство/инновации. Он интересуется анализом данных, машинным обучением и визуализацией данных, а также увлечен использованием данных для решения сложных проблем и оказания положительного влияния на жизнь других людей.
Первоначально опубликовано на https://pandio.com 21 декабря 2020 г.
