Внедрение модели машинного обучения в производство с помощью REST API и Webhook. Без кодирования
Сегодня специалисты по анализу данных имеют широкий набор инструментов для обработки и построения моделей машинного обучения. Большинство этих инструментов сосредоточены на науке о наиболее распространенных алгоритмах, таких как линейная регрессия, логистическая регрессия и другие. И хотя кажется, что научный аспект процесса решен, все начинает усложняться, когда профессионалам необходимо развернуть в производство модели с гигабайтами или петабайтами данных. По мнению Gartner, это основная причина неудач проектов Big Data.
Итак, какие есть варианты, которые помогут запустить вашу модель в производство? Вы должны продвинуть результаты модели там, в реальный мир, скажем, в собственное приложение, чтобы показать определенные продукты группе клиентов, которые, по прогнозам модели, являются потенциальными покупателями нового семейного плана, о котором только что объявлено вашей телефонной службой? Один из способов сделать это - использовать Python с использованием веб-службы фляги. Что такое Flask? Flask - это фреймворк для микро-веб-серверов Python, который позволяет быстро создавать веб-сервисы на основе REST API с минимальными проблемами настройки. Эта веб-служба работает в вашей системе локально. Вы можете поместить службу фляги в контейнер с помощью Docker, а затем запустить ее на облачной виртуальной машине. Контейнеризация веб-сервера позволяет избежать проблем, связанных с окружающей средой. Затем вы можете разместить контейнер веб-сервиса на любой облачной платформе, такой как AWS или Google Cloud.
Теоретически это звучит как отличная методология, но это просто сложно и медленно! Давайте опишем, как будет проходить обычный процесс: сначала вам нужно настроить свою инфраструктуру, настроить ELT (извлечение, загрузка, преобразование), затем вам нужно запустить свою модель с такими вещами, как Spark, и для этого вам понадобится ML Ops. , затем вам нужно будет использовать Airflow и, наконец, создать API-интерфейсы для отправки вывода в бизнес-приложения.
В исследовании, проведенном Gartner, было обнаружено, что 47% компаний испытывают затруднения при переводе проектов в производство из-за трудностей в процессах и / или приложениях.
Это означает, что все больше специалистов по обработке данных и аналитиков испытывают проблемы с конкретизацией своей работы. По мере развития компании им необходимо быстрее принимать решения, быстрее выполнять итерацию, а это означает, что быстрее тестировать модели, чтобы корректировать свои решения.
Благодаря Datagran компании теперь могут быстрее тестировать и выполнять итерации для построения основных систем в будущем. Причина в том, что Datagran заботится об операциях ML, планировании и API. В этом руководстве мы рассмотрим наш REST API и действия Webhook. Два элемента в нашем наборе адресатов, которые компании могут использовать для удобного использования или обслуживания результатов моделей машинного обучения в различных сценариях.
Это удобный способ рассылки информации о вашей компании, и при активном использовании это отличный способ для развития вашего бизнеса.
Unilever - многонациональная компания по производству потребительских товаров, предлагающая самые известные в мире продукты, такие как продукты питания, кондитерские изделия, энергетические напитки, детское питание, безалкогольные напитки, сыр, мороженое, чай и т. д., для получения данных использовала действие REST API Datagran. из своих баз данных и отображать его на мобильных устройствах Salesforce.
Вот как развернуть результаты модели машинного обучения с помощью действия REST API.
Руководство по REST API:
Во-первых, интегрируйте источники данных, из которых вы хотите извлечь данные.
Datagran может импортировать данные из широкого спектра хранилищ данных и источников, включая такие базы данных, как PostgreSQL, Amazon S3, MongoDB и другие, а также программное обеспечение для бизнеса, включая Google Ads, Shopify, Facebook Ads, Salesforce, Segment, Amplitude и т. Д.
В этом примере мы возьмем несколько источников Playground с разными типами информации, например, данные о счете, клиенте и продукте. Щелкните здесь, чтобы узнать, как интегрировать источники данных в свою учетную запись Datagran. Во-вторых, мы обучим наши данные с помощью оператора SQL, а затем запустим алгоритм RFM для прогнозирования кластеров клиентов, на которых мы будем ориентироваться с помощью персонализированного обмена сообщениями. Теперь перетащите элемент RestAPI на холст.
Нажмите кнопку Edit.
Выберите источник / оператора, которого вы хотите вытолкнуть.
Затем выберите таблицу и нажмите «Сохранить».
Теперь запустите Action, нажав кнопку Play, расположенную внутри элемента REST API. Зеленая галочка в верхней правой части элемента будет указывать на то, что элемент запущен.
Наведите указатель мыши на значок REST API в левом меню и щелкните его, чтобы просмотреть конечную точку API и параметр.
Отображаемые здесь параметры являются фактическими параметрами, которые можно использовать для желаемого запроса.
Теперь вы можете назвать конвейер и сохранить его.
Webhook позволяет отправлять данные в реальном времени из одного приложения в другое всякий раз, когда происходит определенное событие. Например, Foodie отправляет информацию своим клиентам из своего приложения прямо на мобильный телефон своего клиента в виде SMS и электронной почты после создания учетной записи. Это экономит много времени, поскольку выполняет внутреннюю работу, которая была бы изнурительно утомительной, если бы ее выполняли вручную. Представьте, что вам нужно отправить информацию о вашем клиенте в программу электронной почты, чтобы сказать ему: «Добро пожаловать в нашу компанию». С Datagran Webhook идет намного дальше. Ваши команды могут легко отправлять результаты модели машинного обучения в рабочую среду, будь то ваше приложение, без необходимости его физической сборки.
Вот как:
В этом примере мы также используем данные Playground, как показано в примере API выше. Перетащите действие Webhook.
Щелкните кнопку Edit.
Введите URL-адрес конечной точки, которую вы уже должны были создать.
Выберите таблицу с данными, которые вы хотите отправить. Вы можете проверить, передаются ли данные в вашу конечную точку, нажав кнопку «Тест». Если все в порядке, вы можете сохранить его и вернуться к конвейеру.
Теперь нажмите кнопку воспроизведения, чтобы запустить элемент. Когда загорится зеленая галочка, нажмите «Запустить конвейер».
Datagran легко позволяет запускать модели машинного обучения благодаря своему визуальному редактору конвейера. Вы можете настроить свою модель, поэкспериментировать, чтобы увидеть полученные результаты, затем подключить другие источники данных и использовать те же инструменты для сбора этих данных для прогнозов, которые могут помочь вам в развитии вашего бизнеса.
Вам нужно делать модели более высокого уровня? Попробуйте другие наши алгоритмы Spark для регрессии и классификации, RFM-анализа, анализа рекомендуемых продуктов и т. Д. Для предприятий электронной коммерции Datagran - отличное решение, которое помогает сделать данные доступными с помощью конвейеров машинного обучения. Для получения дополнительной информации прочитайте как увеличить доход в ваших Shopify с моделями машинного обучения с помощью Datagran.
