Машинное обучение распространено повсеместно и доказало свою полезность в ряде случаев использования, начиная от систем рекомендаций и заканчивая прогнозированием спроса/дохода, диагностическим обслуживанием и автономным вождением, и это лишь некоторые из них. Организации используют машинное обучение во всех аспектах своего бизнеса. Недавнее исследование предполагает, что к 2026 году почти каждое третье приложение будет иметь по крайней мере один компонент, использующий модель машинного обучения для получения выводов из данных. ML больше не является запоздалой мыслью. Когда клиентам нужно решить бизнес-задачу, они с самого начала ищут решение на основе машинного обучения.

Наличие гибкой и расширяемой платформы машинного обучения имеет решающее значение для демократизации машинного обучения в организации. Существует множество инструментов машинного обучения, и часто очень сложно определить правильный набор инструментов, который не только отвечает текущим потребностям, но и соответствует будущему росту. Крайне важно выбрать правильного поставщика, который может предоставить самые широкие и глубокие инструменты для удовлетворения ваших потребностей в машинном обучении. Будет упущением, если я не упомяну Большие языковые модели (LLM). С обнадеживающими результатами, которые мы получили с LLM и генеративным ИИ, платформа, которая может поддерживать обучение и выводы в масштабе, также очень важна. Даже если ваша организация сегодня недостаточно развита, чтобы использовать комплексные инструменты машинного обучения, вы скоро дорастете до нее.

(Примечание: я являюсь частью командыAmazon SageMakerи энтузиастом машинного обучения. Мне посчастливилось работать с клиентами, начиная от стартапов и заканчивая предприятиями. помогая им стандартизировать свои рабочие нагрузки машинного обучения в SageMaker. Однако вы должны относиться к моему мнению с долей скептицизма.)

В этом блоге я кратко описываю некоторые тенденции стандартизации платформы машинного обучения.

Тенденция: оптимизация цикла от экспериментов до производства (E2P)

E2P — это количество дней, которое требуется для перехода варианта использования ML от эксперимента к производству. Может показаться странным начинать с E2P, но это чрезвычайно важная метрика, которая выдвигает на первый план потребности сквозного машинного обучения для принятия обоснованных решений. E2P — это одна из мер, которые, по моим наблюдениям, клиенты используют для оценки своего внедрения и зрелости машинного обучения. В некотором смысле он работает в обратном направлении от идеального состояния.

Относительно легко построить модель с помощью некоторых популярных фреймворков, таких как Scikit Learn, Deep Learning и т. д., но не так просто запустить ее в производство. Для автоматизации и мониторинга требуется набор инструментов и компонентов корпоративного уровня. Вот лишь несколько возможностей, которые вам понадобятся: 1/ инфраструктура (вычисления, хранилище, сеть, оптимизированные платформы машинного обучения и т. д.) 2/ поддержка высокой доступности (SLA, автоматическое масштабирование, отказоустойчивость) 3/ соответствие требованиям и требованиям безопасности (PCI, SoC и т. д.) 4/ Инструменты оптимизации затрат (конечные точки с несколькими моделями, конечные точки с несколькими контейнерами, вывод без сервера, оптимизация размера экземпляра и т. д.) 5/ Инструменты MLOps (конвейеры, реестр моделей, мониторинг моделей, объяснимость, отслеживание происхождения и т. д. ) 6/ Наблюдаемость (регистрация и метрики). Сосредоточение внимания на E2P поможет вам найти необходимые инструменты.

На приведенной ниже диаграмме показаны основные этапы жизненного цикла машинного обучения. Это должно дать вам представление о широте инструментов, необходимых для операционализации ваших моделей. Разработка модели — это повторяющийся процесс, и вам потребуются инструменты, которые позволят специалистам по обработке и анализу данных и инженерам по машинному обучению ускорить разработку моделей. Я слышал, как клиенты говорят, что время Data Scientist в цене, и чем меньше им приходится бороться с проблемами, связанными с инфраструктурой, тем лучше. Ключевым моментом является повышение скорости разработки/развертывания модели.

При выборе платформы ML крайне важно убедиться, что платформа имеет полный набор инструментов для поддержки более короткого E2P. Когда вы находитесь на ранних стадиях, вы можете не думать о некоторых последующих потребностях, таких как мониторинг смещения модели/данных и автоматический запуск процесса переобучения, но очень важно убедиться, что платформа поддерживает такие возможности.

Я рекомендую провести Proof-of-Concept для оценки возможностей платформы, чтобы определить, достаточно ли встроенных в платформу инструментов для ваших сквозных потребностей — сборки, обучения, развертывания и мониторинга. Если у вас уже есть модель машинного обучения, развернутая в стиле «сделай сам» или с помощью других инструментов, оцените, сколько времени уходит на создание модели и ее развертывание в рабочей среде, и сравните это с управляемыми платформами машинного обучения, такими как Amazon SageMaker.

Тенденция: выбор платформы, предоставляющей инструменты для разных пользователей машинного обучения

Демократизация машинного обучения в организации имеет решающее значение для повышения ценности бизнеса. Сегодня в разработке, развертывании и потреблении моделей участвуют несколько человек. Вам потребуются инструменты, которые удовлетворят потребности клиентов там, где они есть, и абстрагируют сложность в зависимости от уровня навыков. Например, для специалистов по данным и инженеров по машинному обучению достаточно инструментов, ориентированных на код. Для бизнес-аналитиков вам понадобятся инструменты, которые абстрагируют детали построения модели. Они должны иметь возможность загружать табличные данные и строить модели несколькими щелчками мыши.

В организациях, где внедрение машинного обучения является зрелым, персонажи и их роли в достаточной степени четко определены. В других случаях линии размыты, когда один человек носит несколько головных уборов. В любом случае, создание матрицы, как показано ниже, поможет определить потребности. Я видел клиентов, которые находятся на раннем этапе внедрения, как правило, упускают из виду персонажей, не являющихся специалистами по данным. Крайне важно согласовать с поставщиком / платформой, у которой есть набор инструментов, поддерживающий разных персонажей, чтобы вы могли использовать их по мере взросления на пути внедрения ML. Кроме того, эти инструменты должны легко интегрироваться, а персонажи должны иметь возможность легко сотрудничать. Например, бизнес-аналитик может использовать табличные данные для построения модели прогнозирования оттока или сегментации и должен иметь возможность легко передавать/назначать специалисту по данным для проверки или расширенного построения модели.

Тенденция: стандартизация на одной основной платформе

Объединение нескольких инструментов требует значительной интеграции, и сложнее заставить инструменты общаться друг с другом. Многие клиенты, с которыми я работаю, стандартизируют одну платформу, максимум две, с дополняющими друг друга инструментами. Фрагментация препятствует инновациям. На рисунке ниже показаны различные поставщики в сфере машинного обучения. Не поймите меня неправильно, эти инструменты хороши в своих областях, но наличие эклектичного набора инструментов будет работать против ваших целей демократизации машинного обучения. Если вы выбираете несколько инструментов для удовлетворения своих специализированных потребностей, убедитесь, что они изначально интегрированы с вашей основной платформой.

Другим важным аспектом является соответствие требованиям. Во многих случаях клиенты требуют, чтобы платформа соответствовала таким стандартам, как SoC, PCI и т. д., и достижение соответствия в целом с помощью нескольких инструментов сделает это очень запутанным, а в некоторых случаях неосуществимым. Идеальным будет согласование с основной платформой с меньшим количеством дополнительных инструментов, отвечающих требованиям соответствия.

Тенденция: выбор платформы, на которой можно платить по мере использования

Стоимость играет огромную роль в зависимости от того, какие возможности ML вы хотите для организации. Модели лицензирования или авансового ценообразования не обеспечат необходимой вам гибкости. Модель оплаты по мере использования хорошо нашла отклик у клиентов, поскольку позволяет им набирать номер вверх и вниз в зависимости от потребностей. Обучение и выводы — это две основные области, в которых вы будете нести большую часть затрат, а оплата за то, что вы используете, позволяет лучше оптимизировать затраты. Кроме того, наличие доступа к различным типам экземпляров (ЦП, ГП, оптимизация памяти и т. д.) имеет решающее значение, чтобы вы могли выбрать тот, который подходит для вашей рабочей нагрузки. Например, если вы обучаете и размещаете модель XGBoost, экземпляры, оптимизированные для памяти, лучше подходят для оптимизации производительности и затрат. Что еще более важно, наличие экземпляров, когда это необходимо, важно для разработки модели и скорости развертывания. Для оптимизации затрат на логические выводы вам потребуются различные варианты в зависимости от варианта использования, такие как логические выводы в реальном времени для рабочих нагрузок с малой задержкой, бессерверные логические выводы для спорадических запросов, асинхронные логические выводы для практически реальных и больших полезных нагрузок и пакетные логические выводы для пакетных рабочих нагрузок. .

Заключение

Оснащение специалистов по данным и инженеров по машинному обучению инструментами для быстрой итерации поможет сократить время экспериментов до производства. Выбор платформы с инструментами для поддержки нескольких пользователей важен для демократизации машинного обучения в организации. Следите за накладными расходами на обслуживание платформы. Возможность быстро перейти к использованию новейших и лучших технологий с минимальными затратами имеет решающее значение. Вообще говоря, управляемые платформы предоставят вам такую ​​гибкость, как DIY. Клиенты, которые используют SageMaker для своих нужд машинного обучения, могут сосредоточиться на моделировании инноваций и переложить на SageMaker недифференцированную тяжелую работу по управлению инфраструктурой. Они могут повысить ценность своего бизнеса, сосредоточившись на инновациях посредством разработки моделей. Попробуйте SageMaker, если вам интересно — Начать.