Microsoft Azure AI — подходящая платформа для ваших амбиций в области машинного обучения?

Ключевые аспекты, которые следует учитывать при оценке платформы Azure для ваших приложений машинного обучения

В этом сообщении блога мы проанализируем наиболее важные вопросы о предложениях Microsoft AI, которые вы, как пользователь и лицо, принимающее решения, должны задать себе, если вы планируете реализовать приложения AI с их портфелем продуктов.

Каковы основные продукты и услуги Microsoft для машинного обучения?
Соответствуют ли предлагаемые продукты и услуги моей собственной стратегии ИИ?

В следующих статьях мы также разобрали

Каковы ключевые продукты и услуги для машинного обучения?

Во-первых, давайте посмотрим, что Microsoft может предложить с точки зрения продуктов и услуг машинного обучения. Поскольку это поле постоянно обновляется и пересматривается самой Microsoft, здесь представлено лишь краткое введение в основные функции и назначение. Названия продуктов могут меняться со временем, но по состоянию на начало 2020 года это современное состояние:

Когнитивные услуги

Предварительно созданные сервисы и простые в использовании модули для расширения возможностей ИИ, например. для перевода, распознавания изображений, транскрипции через RESTful API
Эти предварительно обученные алгоритмы обеспечивают очень быстрый доступ к возможностям машинного обучения.
Настраиваемость и глубокая функциональность для строго определенных или уникальных областей применения довольно ограничены.
Он призван стать вводной «игровой площадкой» для изучения и изучения машинного обучения.

Машинное обучение Azure

Основной облачный сервис обработки данных для создания, обучения и развертывания моделей машинного обучения.
Предлагает удобные визуальные интерфейсы для объединения моделей с открытым исходным кодом или готовых моделей и задач преобразования с помощью перетаскивания в конвейер данных.
Также возможны углубленная конфигурация и настройка модели, а также кодирование с нуля на различных языках программирования, таких как R или Python.

Служба ботов Azure

Управляемый сервис для создания и развертывания диалоговых агентов для различных областей применения.
SDK с открытым исходным кодом, полученный в результате разработки Cortana, для создания индивидуальных ботов вопросов и ответов, виртуальных помощников и т.п.
Получите доступ к возможностям естественного языка в облаке Azure и разверните службу по различным каналам связи и мессенджерам.

Когнитивный поиск Azure

Основное внимание уделяется извлечению знаний из неструктурированных данных, хранящихся в файлах или в Интернете.
Использует методы машинного обучения для индексации и фильтрации информации из видео, изображений, pdf-файлов и т.п.
Основные функции включают распознавание текста, перевод, извлечение ключевых фраз, определение местоположения, определение нечетких поисковых терминов, которые можно применять к файлам различных форматов.

Azure Databricks

Часть экосистемы облачного хранилища данных MS.
Блоки данных в Apache Spark позволяют настраивать, подготавливать и обучать большие объемы данных.
Важный элемент для использования данных в режиме, близком к реальному времени, или потоковой передачи крупномасштабных данных IoT.

Виртуальные машины для обработки данных

Облачное решение для настройки рабочей станции по обработке и анализу данных
Не требует полностью интегрированного хранилища данных
DSVM можно использовать для всех типов приложений для малого и среднего бизнеса, экспериментов или в качестве гибкой отправной точки для более продвинутых пользователей.

Обзор показывает, что портфель продуктов охватывает весь спектр технических требований для реализации машинного обучения в бизнес-приложениях или корпоративных приложениях. В то же время существуют плавные переходы между очень просто структурированными услугами начального уровня и расширенными требованиями.

Интенсивно обсуждаемой темой в этом контексте является AutoML, что означает автоматизацию применения машинного обучения к реальным проблемам в общей «управляемой службе» от набора необработанных данных до развертывания и обслуживания машинного обучения. модель.

Цель состоит в том, чтобы позволить конечным пользователям, не являющимся техническими специалистами, применять машинное обучение для решения повседневных задач и, таким образом, повысить производительность и качество продукции. В перспективе это, безусловно, может иметь большое значение для Microsoft, которая обладает чрезвычайно высоким уровнем проникновения продуктов и услуг с прямыми точками взаимодействия с конечными пользователями, как вряд ли какой-либо другой конкурент.

Однако зачастую это не специалисты в области технологий или машинного обучения, а пользователи простых инструментов повышения производительности или операционных систем. Только у Google есть аналогичный профиль пользователя, хотя и не такой сильный в профессиональной/корпоративной сфере, как у Microsoft.

Вписываются ли предлагаемые продукты и услуги в мою собственную стратегию ИИ?

Предложение Microsoft довольно обширно и варьируется от инструментов начального уровня до профессиональных инструментов для обработки данных. Основным продуктом является Azure Machine Learning, включая ML Studio, который предназначен для предоставления полного пакета услуг для специалистов по данным и инженеров по машинному обучению. Как всегда, сложно дать общий ответ на вопрос, подходит решение или нет. Это сильно зависит от того, какой вы тип пользователя и что именно вы ищете. Но давайте погрузимся в довольно общие характеристики оценки, прежде чем приступить к вопросу об индивидуальной точке зрения.

№1 в отрасли

Что касается прикладной направленности, платформа искусственного интеллекта Microsoft носит довольно общий характер и не содержит узкоспециализированных отраслевых решений. С точки зрения коммуникации упоминаются шесть вертикалей высокого уровня, имеющих особое значение:

Правительство
Финансовые услуги
Розничная торговля
Производство
Здоровье и науки о жизни
Энергия

В первую очередь это примеры крупных клиентов, которые реализовали конкретные варианты использования, созданные на платформе Microsoft Azure. Однако за пределами Azure Marketplace готовые отраслевые решения не доступны в больших масштабах. Почти во всех продуктах и услугах Microsoft стремится быть универсалом, который пытается обслуживать как можно более широкий рынок своими решениями. Это не означает, что отраслевые решения выходят за рамки Microsoft, но они, как правило, передают «крайнюю» настройку своей широкой сети партнеров по внедрению и больше внимания уделяют инфраструктуре, необходимой для запуска таких сервисов.

# 2 Общие сильные стороны

Инструменты машинного обучения:

Визуальный пользовательский интерфейс Студии машинного обучения обеспечивает удобство использования даже без очень глубоких технических ноу-хау.
Комплексная поддержка распространенных фреймворков и инструментов разработки
Возможности интеграции в Office, PowerBI, Teams, OneDrive, Skype, LinkedIn и др.
Школа искусственного интеллекта Microsoft и комплексное предложение контента (включая серию видео) по стратегии искусственного интеллекта и данных и культурной трансформации компании.

Общая инфраструктура:

Международное покрытие и уровни поддержки, возможность бесплатного тестирования многих сервисов, а также широкая сеть партнеров по внедрению
Четкое и хорошо структурированное предложение услуг с исчерпывающей документацией и поддержкой
Azure Marketplace в качестве инструментальной платформы и интерфейса продаж (в настоящее время все еще сравнительно незначителен)
Широкая поддержка баз данных (реляционные, распределенные системы/озеро данных, потоковая передача данных)
Фабрика данных Azure как модульная система для полностью облачного хранилища данных и конвейерной обработки данных.
Для корпоративных аналитических приложений PowerBI предоставляет мощный интерфейсный инструмент по сравнению с предложениями Google и AWS.

#3 Общие недостатки

Инструменты машинного обучения:

Гибкость и полезность предварительно упакованных Cognitive Services — больше демонстрационный характер, чем реальная польза для пользователя.
Сравнительно низкая поддержка сложных моделей глубокого обучения в Azure ML — основное внимание управляемой службы уделяется «простому» статистическому анализу и методам машинного обучения (регрессия, деревья решений, случайный лес).
Варианты индивидуализации и набор функций с помощью интерфейсов «перетаскивания» иногда менее гибкие, чем у конкурентов, таких как AWS.

Общая инфраструктура:

Расширяемое управление данными, качество данных и управление мастер-данными (недоступно вообще) решения в портфолио
Незначительная специализация или отсутствие специализации в конкретных вертикалях / отраслевых решениях

# 4 Продукт-проблема-подходит

Как уже было сказано, многое зависит от ожиданий и целей, с которыми начинается поиск конкретного решения. Поэтому общие утверждения сделать трудно. Давайте теперь посмотрим на вышеописанное предложение с точки зрения четырех различных групп пользователей и сделаем конкретный вывод о пригодности инструментов и услуг для каждой из этих групп:

Пользователи продуктивности (начальный уровень или вообще не знающие Analytics/AI)
Аналитик данных (средние знания аналитики/ИИ)
Специалист по данным (глубокие знания в области аналитики/ИИ)
Исследователь машинного обучения (первоклассные знания в области аналитики/ИИ)

Профессиональные пользователи
Нет конкретных технических знаний об искусственном интеллекте, разработке программного обеспечения или статистическом анализе. Конечный пользователь повседневных средств продуктивности и общения, которому после короткого обучения с помощью «хаков» должна быть предоставлена возможность оптимизировать свой личный рабочий день. К их простым и существующим формам относятся макросы Excel, приложения RPA или функции соединителя в пакете Office для повышения производительности или с помощью таких инструментов, как Zapier.

Соответствие: низкое

Обоснование.ИИ все еще находится на сравнительно ранней стадии разработки, многие готовые приложения для массового рынка еще не существуют, а если и существуют, то настолько удобно автоматизированы, что конечный пользователь даже не замечает, что здесь работает ИИ. Cognitive Services лучше всего подходит в качестве решения для перетаскивания даже для самых неподготовленных пользователей для проведения своих первых экспериментов. Однако вывести из этого действительно продуктивные решения не удастся. Предварительно обученные стандартные модели являются слишком общими и неточными. Кроме того, даже базовое понимание ИИ или уровень грамотности данных все еще очень низки для среднего конечного пользователя. Это может измениться в ближайшие 2-3 года, но до тех пор это остается уловкой для этого сегмента пользователей.

Аналитик данных
Опыт работы с данными, базами данных и общими аналитическими задачами. Способность самостоятельно проводить простой и сложный анализ и подготавливать результаты с использованием подходящих инструментов отчетности или визуализации. Особое внимание уделяется размещению бизнес-данных в правильном контексте и их интерпретации для получения рекомендаций для конкретных бизнес-решений.

Соответствие: очень высокое

Обоснование:данные или бизнес-аналитики в самом широком смысле позволяют сравнительно простому пользовательскому интерфейсу ML Studio проводить анализ и эксперименты с данными, которые в противном случае требуют более высоких входных барьеров с помощью соответствующего программного обеспечения или ин- знание глубинного инструмента. Благодаря простой интеграции в стандартные инструменты, такие как Excel и PowerBI, аналитики могут интегрировать методы машинного обучения в свою повседневную рутинную аналитику. Однако основное внимание здесь уделяется обработке наборов данных среднего размера с помощью таких методов, как многомерный регрессионный анализ, случайные леса или методы опорных векторов. Настройка нейронных сетей и моделей глубокого обучения в настоящее время не станет основной областью применения для этой группы пользователей.

Исследователь данных
Исследователи данных занимаются исследовательским анализом наборов данных с использованием передовых статистических методов. Для специалистов по обработке и анализу данных как ML Studio, так и инфраструктурные продукты, такие как DSVM или Databricks, обеспечивают полезную поддержку в виде необходимых сквозных модулей процессов. В центре внимания экспертов явно находится создание релевантных и неочевидных идей из больших и сложных наборов данных. Соответственно, специалисты по данным зависят от возможности максимально эффективно применять свои разнообразные знания в области анализа данных с помощью структурированных экспериментов.

Соответствие:высокое

Обоснование. Наибольшее преимущество специалистов по обработке и анализу данных заключается в том, что они могут работать с глубокими методологическими знаниями в простом и эффективном пользовательском интерфейсе. Эта группа пользователей больше выигрывает от настраиваемости моделей. Еще одним преимуществом является интеграция задач инженерии данных (подготовительные мероприятия), а также возможность немедленного развертывания моделей без трудоемких процессов передачи разработчикам программного обеспечения.

В идеале эти задачи вообще не должны упоминаться как часть работы специалиста по данным, но на самом деле специалисты по данным оказываются полноценными инженерами и разработчиками, пытающимися внедрить свое усердно разработанное решение в производство из-за отсутствия вспомогательных ресурсов. . Для новичков и тех, кто пришел в область науки о данных со стороны, набор инструментов Microsoft, безусловно, предлагает много преимуществ и исчерпывающую документацию, но это еще не совсем работа с наборами данных без кода.

Исследователь по машинному обучению
Эта роль характеризует опытного специалиста по обработке и анализу данных, уделяющего особое внимание машинному обучению, вплоть до архитекторов и инженеров по машинному обучению, которые хотят разрабатывать высокотехнологичные модели для конкретных случаев использования и использовать их. продуктивно. Неудивительно, что выбор методов часто заканчивается нейронными сетями — особенно в области обработки неструктурированных данных. Модели должны быть способны обрабатывать очень большие объемы данных, а продуктивное использование, например, в контексте приложений, связанных с безопасностью, требует чрезвычайно надежных выходных данных и мониторинга показателей производительности.

Соответствие: среднее

Обоснование: Azure AI, естественно, утверждает, что одинаково подходит для всех пользователей. Но точно так же, как графические дизайнеры не используют PowerPoint, современные системы баз данных не основаны на Access, а отчеты в масштабе всей компании в режиме реального времени не должны отображаться в Excel, платформа ИИ несколько не соответствует требованиям абсолютных высококлассных пользователей.

Модели глубокого обучения часто очень дороги в настройке и обучении, особенно когда используются большие объемы мультимедийных данных. Кроме того, они не создаются с использованием простой логики перетаскивания, а требуют добросовестной детальной работы, постоянного тестирования и настройки. Здесь основные преимущества упрощенного пользовательского интерфейса просто не проявляются. В конечном счете, эта оценка, конечно, субъективна, но преобладающее впечатление состоит в том, что платформа ИИ Azure в ее нынешнем виде — и в соответствии с сформулированной корпоративной стратегией «обеспечить ИИ всем» — не ориентирована на пользователям высокого класса, но больше к более легкому доступу к теме науки о данных и машинного обучения для более широкой пользовательской аудитории.

Вывод

Azure ML ценится, прежде всего, благодаря надежному интерфейсу, легкому доступу для пользователей, которые не хотят привыкать ко всему техническому разнообразию платформы AWS, а также хорошо структурированной, обширной документации и учебным материалам.

Однако во всем портфеле услуг основное внимание уделяется довольно простым и стандартизированным вариантам использования, применимым к более широкому кругу компаний (рекомендательные системы, персонализация, простое распознавание объектов, перевод, извлечение знаний и чат-боты).

Передовые модели глубокого обучения для промышленных приложений или узкоспециализированных вариантов использования также могут быть отображены технически, но вряд ли выиграют от преимуществ упомянутой выше системы, которая явно нацелена в первую очередь на охват «всех» и, соответственно, фокусируется на решениях повседневных проблем на меньший масштаб.

Что касается ценообразования, то на данный момент практически невозможно сделать какое-либо заявление, так как оно чрезвычайно зависит от выбранной конфигурации в случае с обычными моделями с оплатой по мере использования, с одной стороны, и обновляется очень регулярно от провайдера с другой. Облачная платформа Azure обычно предлагает очень детализированные варианты выбора и циклы выставления счетов. Однако в случае более крупных проектов многое также зависит от индивидуальных переговоров или скидок — например, если услуги используются в течение более длительного периода времени, процент скидки может быстро исчисляться средним двузначным числом.

Если вы хотите запустить тестовый проект, я бы порекомендовал получить пробную версию (первые пару дней бесплатны) и подумать самостоятельно. Кроме того, ознакомьтесь с подробными обзорами других блоггеров, чтобы получить первоначальное «практическое» впечатление: