Корпоративные инвестиции в искусственный интеллект (ИИ) растут. В недавнем опросе O’Reilly Media 61% респондентов указали, что искусственный интеллект (ИИ) был самой важной инициативой их компании в области данных. По прогнозам International Data Corporation, в этом году расходы на ИИ вырастут во всем мире до $35,8 млрд.

И хотя инвестиции в приложения искусственного интеллекта и машинного обучения могут изменить любую отрасль и упростить задачи в каждом бизнесе, алгоритмы машинного обучения хороши настолько, насколько хороши обучающие данные, которые они используют для обучения. Таким образом, по мере того, как вы масштабируете свои усилия, становится все сложнее очищать, маркировать и подготавливать разнообразные данные для поддержки постоянно развивающихся моделей.

На самом деле Gartner предсказывает, что до 85% проектов ИИ потерпят неудачу. Успешная наука о данных основана на больших наборах данных, которые точно помечены и готовы к использованию. Но получение помеченных данных — или истинной информации для вашего алгоритма — требует много времени и может быть сложнее, чем кажется.

DataOps применяет людей, процессы и инструменты

В последние годы DataOps появился как адаптация методологии разработки программного обеспечения DevOps для решения некоторых проблем с данными, с которыми сталкивается ИИ. Методология DataOps относится к людям, процессам и инструментам, которые могут повысить скорость, качество и надежность приложений, управляемых данными, включая ИИ.

Мы встретились с Крисом Бергом, генеральным директором и главным шеф-поваром DataKitchen, который рассматривает эти многочисленные факторы как ингредиенты для отличных приложений машинного обучения. Мы спросили его о проблемах, с которыми сталкиваются команды DataOps при удовлетворении ожиданий клиентов. Вот что он сказал:

"Если вы сосредоточитесь на этом, ваша команда сможет работать лучше, а результаты — то, что они создают, — будут лучше соответствовать потребностям клиентов". – Крис Берг, генеральный директор и шеф-повар DataKitchen

Маркировка данных — основное узкое место в любом процессе DataOps и одна из основных причин, по которой проекты ИИ терпят неудачу или превышают бюджет. Специалисты по обработке и анализу данных — один из самых ценных ресурсов в организации, и они должны сосредоточить свое время на такой важной работе, как моделирование данных, а не на маркировке данных. Специалисты по данным также должны убедиться, что у них есть процесс быстрой маркировки данных, чтобы он мог быть готов для них, когда они повторяют процесс анализа.

Проблемы маркировки данных в машинном обучении

По мере масштабирования проектов машинного обучения команды DataOps сталкиваются с тремя основными проблемами в своих операциях по маркировке данных:

  1. Качество. Плохое качество данных — самая серьезная проблема, которая может возникнуть в приложении ИИ. Требования к качеству машинного обучения высоки, потому что низкокачественные данные могут иметь неприятные последствия дважды: во-первых, когда вы обучаете свои прогностические модели, а во-вторых, когда данные используются этой моделью для информирования будущих решений.
  2. Скорость. Подготовка данных всегда занимала много времени. По мере увеличения объема и сложности данных увеличивается время, затрачиваемое на подготовку или маркировку данных. Это может истощить ваши внутренние ресурсы до такой степени, что ваши специалисты по обработке и анализу данных тратят большую часть своего времени на подготовку данных вместо того, чтобы анализировать и извлекать из них ценность для бизнеса.
  3. Гибкость. Создание алгоритма машинного обучения — это итеративный процесс. По мере того, как ваша команда повторяет процессы для улучшения результатов, им нужно будет подготовить различные наборы данных или изменить существующие, чтобы улучшить результаты алгоритма.

Многие компании сокращают время, усилия и затраты, связанные с маркировкой данных, дополняя свои команды DataOps решениями для маркировки, созданными на основе краудсорсинга. К сожалению, они часто обнаруживают, что краудсорсинг не обеспечивает уровень точности и качества, необходимый для успеха проекта машинного обучения.

3 компонента: маркировка качественных данных для машинного обучения

CloudFactory решает эти важные вопросы маркировки и подготовки данных, становясь естественным продолжением вашей команды DataOps. Наши рабочие потоки машинного обучения сочетают опытных аналитиков данных и проверенную методологию масштабирования высококачественных обучающих данных, чтобы вы могли доверять данным, лежащим в основе ваших приложений. Вот как мы решаем эти ключевые проблемы:

  1. Качество в масштабе. Качество – это больше, чем просто точная маркировка данных; это точная маркировка всего набора данных. И контекст имеет значение. В отличие от краудсорсинговых решений, мы назначаем вам специального руководителя группы, который работает с вами, чтобы понять бизнес-требования и нюансы проекта. Наши CloudWorkers — это не анонимная толпа, которая может выполнять 10 задач в день в качестве подработки. Вместо этого они являются опытными аналитиками данных, которые гордятся своей работой и привносят свой опыт из предыдущих проектов машинного обучения, чтобы качественно маркировать ваши данные для каждого проекта.
  2. Эластичная скорость. Наши рабочие потоки разработаны как решения для облачных вычислений. Мы работаем с вами, чтобы спланировать ресурсы и убедиться, что ваша команда по маркировке данных достаточно велика, чтобы обработать объем данных, необходимых для соблюдения сроков проекта. Наши рабочие потоки — это еще один этап процесса DataOps, который вы можете использовать для запуска продуктов и функций вовремя и в рамках бюджета.
  3. Гибкость и гибкость. Наши рабочие потоки предназначены для работы так же, как вы, используя практически любой набор инструментов на планете и обеспечивая тесную связь с вашими процессами обработки данных, независимо от масштаба проекта. Это обеспечивает лучшее из обоих миров — мы занимаемся тяжелой работой с данными, а вы фокусируетесь на инновациях, трансформации и культуре, необходимой для их поддержки. О новых вариантах использования или изменениях в требованиях можно легко сообщить всей команде через выделенного руководителя группы, гарантируя, что ваши средства маркировки данных будут обновлены и готовы к маркировке следующего пакета данных.

Хотите узнать больше? Изучите как мы предоставляем данные с маркировкой качества в масштабе для машинного обучения, чтобы вам не приходилось этого делать.

Первоначально опубликовано на https://blog.cloudfactory.com.