Работая над одним из своих заданий по различным облачным сервисам, я столкнулся с концепцией машинного обучения (ML) и тем, что могут предложить эти облачные сервисы. Машинное обучение — это ветвь искусственного интеллекта, основанная на идее, что системы могут учиться на данных, классифицировать шаблоны и принимать решения с очень небольшой помощью человека. Облачное машинное обучение как услуга в тройке лидеров; Amazon Web Service, Microsoft Azure, Google Cloud; позволяет быстро обучать модели и развертывать их практически без опыта работы с данными. Можно легко запустить инициативу ML без особых вложений, что окажется правильным шагом, если вы новичок в науке о данных и хотите воспользоваться этой возможностью. В этой статье я дал обзор платформ машинного обучения, предлагаемых этими облачными сервисами, доступных функций и вариантов их использования.
Это не метафора, утверждающая, что варианты использования машинного обучения ограничены только нашим воображением. Теперь давайте посмотрим на различные платформы машинного обучения, предлагаемые этими облаками.
Машинное обучение в Amazon Web Services (AWS)
Машинное обучение Amazon делится на два уровня: прогнозная аналитика с машинным обучением Amazon и Amazon SageMaker.
1. Машинное обучение Amazon.
Amazon Machine Learning для предиктивной аналитики — одно из наиболее автоматизированных решений, доступных на рынке, которое лучше всего подходит для операций, требующих срочности. Он предоставляет инструменты визуализации и мастера, которые помогают нам в процессе создания машинных моделей без полного знания сложных алгоритмов и технологий. Любой разработчик может легко создавать модели машинного обучения на основе данных, хранящихся в Amazon S3 или Amazon RDS, и выполнять прогнозирование. Когда модели готовы, можно легко делать прогнозы для приложения с помощью простых API без управления какой-либо инфраструктурой. Персонализированное обслуживание клиентов может быть обеспечено с помощью моделей прогнозной аналитики.
Amazon Machine Learning может помочь в обработке отзывов клиентов в свободной форме или путем включения сообщений электронной почты, а также помочь перенаправить заинтересованное лицо. Например, Amazon Machine Learning можно использовать для анализа трафика в социальных сетях и оказания помощи клиентам, у которых возникла проблема с поддержкой продукта, и помочь им связаться с нужным менеджером по работе с клиентами.
Сервис определяет, какие поля являются категориальными, а какие числовыми, и для этого не требуется одобрение пользователя для выбора метода предварительной обработки данных.
Следующие шаги помогут вам воспользоваться этой услугой:
Шаг 1: подготовьте данные
Шаг 2. Создайте источник обучающих данных
Шаг 3: Создайте модель машинного обучения
Шаг 4. Просмотрите прогностическую эффективность модели машинного обучения и установите пороговое значение оценки
Шаг 5: Используйте модель ML для создания прогнозов
Шаг 6: Очистка
Подробное объяснение можно найти здесь. И, пожалуйста, посетите здесь, если вам нужно наглядное объяснение шагов.
Возможности прогнозирования Amazon ML ограничены следующими параметрами: бинарная классификация, многоклассовая классификация и регрессия. Он не поддерживает неконтролируемые методы обучения. Пользователю не нужно знать какие-либо методы машинного обучения, потому что Amazon выбирает их автоматически после просмотра предоставленных данных. Если есть потребность в полностью автоматизированном, но ограниченном решении, эта услуга может оправдать ожидания. А если нет, то у Amazon есть еще один вариант, известный как Amazon SageMaker.
Чтобы упростить процесс машинного обучения для разработчиков и специалистов по данным, Amazon теперь предлагает Amazon SageMaker. Это полностью управляемый сервис с надлежащими функциями разработки, обучения и хостинга, который позволяет разработчикам сосредоточиться на построении, обучении и настройке моделей, не беспокоясь об инфраструктуре системы.
Пример использования: Распознавание активности человека
Есть много открытых наборов данных для машинного обучения, предоставляемых государственными учреждениями в Интернете. Один из них может стать хорошим началом для варианта использования. Нам нужно адаптировать их входной формат к простому CSV-файлу (который ожидает и понимает AWS Machine Learning), чтобы использовать модель с использованием ваших собственных данных для получения прогнозов. Здесь используется набор данных HAR (распознавание активности человека), основанный на данных датчиков смартфонов. Он находится в свободном доступе. Этот набор данных содержит более 10 000 записей, каждая из которых характеризуется 560 функциями и одним физически отмеченным целевым столбцом, который может принимать одно из следующих качеств:
1 = ходьба
2 = идти вверх по лестнице
3 = идти вниз по лестнице
4 = сидя
5 = стоя
6 = лежа
Столбцы с 560 функциями — это входные данные нашей модели, которые представляют собой переменные во временной и частотной областях, полученные с помощью сигналов акселерометра и гироскопа. Поскольку целевой столбец может принимать более двух значений, это называется проблемой нескольких классов. Дополнительную информацию об этих значениях можно найти в загружаемом ZIP-файле.
Я даже не могу поверить, как мобильные приложения могут использовать такие данные. Возможно, им нужно получить знания об использовании приложений. Или, может быть, они могут отслеживать ежедневные модели активности, чтобы интегрировать их в ваш ежедневный отчет о фитнесе.
2. Amazon SageMaker.
Это позволяет разработчикам и специалистам по обработке и анализу данных быстро создавать, легко обучать и развертывать модели машинного обучения, будь то в малом или крупном масштабе. Это полностью управляемый сервис, который помогает в подготовке данных, выборе и обучении алгоритма, настройке и оптимизации развертывания и, наконец, в прогнозировании. Все это можно сделать гораздо быстрее, эффективнее и с меньшими затратами с помощью SageMaker.
Весь процесс разбит на три модуля:
Сборка — сбор и подготовка данных для обучения, маркировка данных, выбор и оптимизация алгоритма машинного обучения.
Обучение — настройка и управление средами для обучения, обучение в один клик, настройка модели, обучение один раз и запуск в любом месте.
Развертывание. Запуск модели в производственной среде, развертывание одним щелчком мыши, масштабирование и управление производством.
Встроенные методы SageMaker взаимодействуют с API ML, которые предлагает Amazon, но это дает нам возможность поиграть с ними и использовать наши собственные наборы данных. Если мы не хотим их использовать, у нас есть возможность добавить собственные методы и запустить модели через SageMaker, используя его функции развертывания. Также мы можем интегрировать его с различными библиотеками глубокого обучения.
Недавние функции. AWS недавно представила функцию Amazon SageMaker Search, которая дает нам возможность обнаруживать и оценивать наиболее подходящие прогоны обучения моделей из большого количества заданий обучения моделей Amazon SageMaker.
Машинное обучение в Microsoft Azure
Студия машинного обучения Azure — это продуктивный, открытый, надежный инструмент обучения, который можно использовать для создания, тестирования и развертывания решений прогнозной аналитики для ваших данных.
Услуги, предлагаемые Microsoft Azure, можно разделить на две основные категории: Студия машинного обучения Azure и Служба ботов. Студия машинного обучения Azure — это основной пакет, когда речь идет о машинном обучении как услуге. Здесь почти все услуги могут быть выполнены вручную, включая исследование данных, выбор методов и т. д. Эта платформа имеет один алгоритм кластеризации, который называется K-средних.
Использование службы машинного обучения Azure может быть следующим:
Шаг 1. Создание рабочей области. Установка SDK и создание рабочей области для хранения вычислительных ресурсов, развертываний и журналов выполнения в облаке.
Шаг 2. Обучение модели. Обучение модели локально с использованием библиотек машинного обучения с открытым исходным кодом. Отслеживание экспериментов и масштабирование соответственно.
Шаг 3. Развертывание и управление. Развертывание модели для тестирования производства и создания прогнозов. Следите за его производительностью.
Подробную информацию и шаги по созданию эксперимента с помощью Azure Machine Learning Studio можно найти здесь, а службу предиктивной аналитики — здесь.
Случаи использования, в которых функции машинного обучения могут быть полезны:
1. Очистка данных и предварительная обработка.
2. Система рекомендаций — Тренируйте рекомендателя спичечных коробков.
3. Блокноты Jupyter.
4. Визуальный поиск.
5. Приведите в действие свою модель
6. Анализ настроений.
7. Обнаружение мошенничества.
8. Прогнозирование спроса путем оптимизации ценообразования.
9. Персонализированные предложения.
Стандартные цены:
Машинное обучение в Google Cloud.
В Google Cloud есть платформы машинного обучения, такие как Google ML Engine и TensorFlow.
Механизм Google ML очень похож на сервис Amazon SageMaker. TensorFlow выступает в качестве драйвера машинного обучения в этом процессе. Google тестирует несколько других популярных фреймворков, таких как XGBoost, scikit-leran, Keras и т. д.
TensorFlow — еще один продукт Google, представляющий собой библиотеку машинного обучения с открытым исходным кодом. TensorFlow довольно мощный, но в основном нацелен на задачи глубокой нейронной сети. Сочетание TensorFlow и службы Google Cloud составляет решение «инфраструктура как услуга» и «платформа как услуга» в соответствии с трехуровневой моделью облачных услуг.
Шаги по настройке проекта GCP можно найти здесь.
Основные приложения Google используют облачное машинное обучение, включая «Фото» (поиск изображений), «Переводчик», «Входящие» (Smart Reply) и приложение Google (голосовой поиск).
Одна из самых вдохновляющих пользовательских историй ML — история о сыне японского фермера, который решил автоматически сортировать огурцы, чтобы помочь своим родителям в этом болезненном процессе. Он не был экспертом в области машинного обучения, и у него не было большого бюджета. Но каким-то образом ему удалось познакомиться с TensorFlow и внедрить глубокое обучение для сортировки разных классов огурцов. Он использовал глубокое обучение для распознавания изображений, которое позволяет компьютеру учиться на тренировочном наборе.
Диаграмма, показывающая некоторые функции и возможности, предлагаемые всеми тремя облаками:
Ссылка:
1. https://aws.amazon.com/aml/
2. https://cloudacademy.com/blog/aws-machine-learning/
5. https://cloudacademy.com/blog/what-are-the-benefits-of-machine-learning-in-the-cloud/
