Данные — это новая валюта. Много лет назад мы измеряли объем обрабатываемых данных в гигабайтах; затем мы быстро перешли на терабайты. Из-за влияния смартфонов и мобильных устройств объем наших данных быстро увеличивается до петабайтов.

Помимо управления размером наших данных, нам необходимо обработать различные виды данных и начать понимать, что данные могут нам сказать. Одна из возможностей DevOps — проанализировать этот большой объем машинных данных. Что еще более важно, машинные данные, такие как журналы и метрики нескольких инструментов мониторинга инфраструктуры, могут продолжать работу текущей ИТ-системы в гибридном облаке. Еще одна возможность — использовать эти машинные данные для быстрого реагирования на проблемы и определения ситуаций, когда может потребоваться вмешательство человека.

Крайне важно преобразовать любую инициативу DevOps с помощью машинных данных, особенно журналов и метрик. Благодаря расширенным возможностям анализа, основанным на машинных данных, инженеры DevOps или инженеры по надежности сайтов (SRE) могут анализировать эти петабайты данных, используя статистику, индексацию, фильтрацию и многие другие методы машинного обучения.

Прогнозный анализ — это ключевая область расширенной аналитики, которая используется для прогнозирования неизвестных будущих событий. Он анализирует текущие данные из нескольких приложений в гибридных инфраструктурах и делает прогнозы на будущее, используя такие методы, как интеллектуальный анализ данных, статистика, моделирование, глубокое обучение и искусственный интеллект.

Программные средства прогнозного анализа предлагают расширенные аналитические функции, такие как интеллектуальный анализ данных, глубокое обучение, статистический анализ, оценка в реальном времени, прогнозное моделирование и оптимизация. Они позволяют собирать, анализировать и анализировать структурированные и неструктурированные данные о том, что произошло, и прогнозировать, что может произойти, на основе прошлых событий в приложениях вашей инфраструктуры. Модель прогнозирования обычно состоит из моделей классификации и регрессии.

Вот три популярных инструмента прогнозной аналитики с открытым исходным кодом, которые вы можете использовать в рамках своей инициативы DevOps.

  • Anaconda — открытая платформа Python для обработки данных. Это высокопроизводительный дистрибутив Python и R, содержащий более 100 самых популярных пакетов Python, R и Scala для обработки данных.
  • H2O — это масштабируемый API машинного обучения с открытым исходным кодом для более интеллектуальных приложений, включая глубокое обучение, повышение градиента, случайный лес и обобщенное линейное моделирование. Это упрощает применение машинного обучения и прогнозного анализа.
  • Apache Mahout создает среду, в которой можно быстро создать масштабируемое приложение для машинного обучения. Это простая и расширяемая среда программирования и платформа для создания масштабируемых алгоритмов, включающая в себя различные предварительные алгоритмы для Scala, Apache Spark, H2O и Apache Flink.

Внедрение прогнозной аналитики в рамках инициативы DevOps имеет решающее значение для многих компаний для повышения эффективности и удовлетворенности клиентов. Скорость изменений увеличивается из-за новых бизнес-моделей, которые продолжают тестировать новые технологии, новых конкурентов и существующие организации на рынке. Поэтому организации должны иметь возможность быстро реагировать на изменения, сохраняя при этом более низкие затраты и более высокое качество, чем их конкуренты.

Прогнозная аналитика в основном используется в инициативах DevOps для ускорения возможностей доставки приложений с точки зрения отслеживания, безопасности, качества и производительности. Например, если инструмент автоматизированного тестирования в конвейере DevOps обнаруживает новые ошибки с помощью алгоритма глубокого обучения и предупреждает группу контроля качества, они могут ускорить процесс исправления ошибок, создав библиотеку тестовых шаблонов. Эта возможность повышает эффективность тестирования, качество приложений и сокращает время выхода на рынок. Другой пример может привести к автоматическому предоставлению дополнительных ресурсов при пиковых нагрузках или исключению избыточных ресурсов в периоды простоя. Он также может обнаруживать проблемы с безопасностью, включая начало DDoS-атак и утечки памяти.

В результате инженеры DevOps могут извлечь выгоду, выявляя и устраняя потенциальные проблемы, такие как непредвиденные коды ошибок, увеличенное время сборки, снижение скорости выпуска, другие узкие места и ненужные, трудоемкие задачи.

Вывод

Использование прогнозной аналитики в вашей инициативе DevOps может обеспечить большие преимущества в жизненном цикле доставки программного обеспечения. К ним относятся устранение технического долга за счет управления расточительной разработкой программного обеспечения и сокращение ненужных штормов предупреждений с помощью шаблонов для выделения только необходимых предупреждений. В конце концов, правильный инструмент предиктивного мониторинга может инициировать события раньше и предотвратить сбои в работе.

Эта статья была первоначально опубликована мной по адресу https://opensource.com/article/19/1/getting-started-predictive-analytics-devops.