С Новым годом, ребята!!
С каждым новым годом мы все пытаемся принимать решения, и я тоже… в прошлом году на самом деле J. В рамках моего решения и цели по приобретению знаний и развитию навыков я сделал «Науку о данных», в частности «Машинное обучение», в качестве своей основной области навыков. на 2021 год.
Когда я начал со знания теории и приблизился к большему пониманию алгоритмов, типов и т. Д., Я достиг предела, когда мое сознание попросило меня перейти к реализации и просто сделать это. Было легче сказать, чем сделать, когда я понял, что инженеру машинного обучения приходится работать со множеством библиотек с открытым исходным кодом, такими языками, как Python, Scala/Java или фреймворками, такими как R, PyCharm/Anaconda/VSCode Code IDE, инструментами сборки и модульного тестирования, диаграммами. инструменты для построения графиков и, самое главное, инфраструктура машинной памяти, процессора и жесткого диска.
Проблемная зона
В среднем инженеру машинного обучения нужно сделать следующее, чтобы дожить до суда!!!
· Сбор и понимание данных
· Очистка данных
· Исследование данных
· Маркировка и разработка функций
· Предварительная обработка данных для модели
· Базовое построение моделей и обучение
· Настройка и проверка модели
· Управление экспериментами и отслеживание
· Прогнозы и прогнозирование
Почти для всех вышеперечисленных шагов существуют разные инструменты для создания и развертывания моделей машинного обучения, начиная с ядра Python и заканчивая flask и Docker, но, как я упоминал ранее во введении, получение среды со всеми необходимыми параметрами вместе с необходимой инфраструктурой — это действительно большая проблема. ; так как это очень сложно, отнимает много времени, отклоняется от фокуса инженера по машинному обучению, дорого и подвержено ошибкам.
AWS SageMaker
SageMaker — это полностью управляемый сервис из облака Amazon (AWS), который помогает быстро подготавливать, создавать, обучать, управлять и развертывать модели машинного обучения, не тратя время на установку инструментов управления масштабированием машинного обучения и инфраструктуры.
Amazon SageMaker — это полностью управляемый сервис, который предоставляет каждому разработчику и специалисту по данным возможность быстро подготовить создание, обучение и развертывание моделей машинного обучения (ML). SageMaker избавляет от тяжелой работы на каждом этапе процесса машинного обучения, чтобы упростить разработку высококачественных моделей. SageMaker предоставляет все компоненты, используемые для машинного обучения, в одном наборе инструментов, поэтому модели быстрее внедряются в производство с гораздо меньшими усилиями и меньшими затратами.
Ссылка: https://aws.amazon.com/sagemaker/features/
Amazon SageMaker был запущен на AWS re:Invent 2017. В основе Amazon SageMaker лежит возможность создавать, обучать, оптимизировать и развертывать модели в полностью управляемой инфраструктуре и в любом масштабе. Это позволяет инженерам машинного обучения сосредоточиться на изучении и решении текущей проблемы машинного обучения, вместо того чтобы тратить время и ресурсы на создание инфраструктуры и управление ею.
Пример использования SageMaker
Ниже приведены некоторые общие примеры использования AWS SageMaker:
· Классификация машинного обучения
· Регрессия машинного обучения
· Кластеризация машинного обучения
· Распознавание изображений (Amazon Rekognition)
· Обработка изображений
· Преобразование текста в речь и наоборот
· НЛП
· Модели глубокого обучения
Пример архитектуры приложения SageMaker
- Как потребление API
2. Пользовательский интерфейс
3. Потоковая аналитика в реальном времени
4. Пакетный вывод
Заключение
Из своего личного опыта я понял, что вместо того, чтобы пытаться создавать свои машины для экспериментов с машинным обучением, лучше использовать облачные возможности AWS с SageMaker. Мало того, что вы получаете действительно большие машины с CPU/EA/GPU в соответствии с требованиями для обучения моделей, но и Notebook поможет просто так разобраться в коде!!!
