От Huyi
За последние 10 лет базы данных в облаке стали универсальными. По сравнению с традиционными локальными базами данных облачные базы данных решают основные требования к эксплуатации и обслуживанию баз данных, такие как нехватка ресурсов, гибкость, высокая доступность, резервное копирование и мониторинг. Тем не менее, перед общими разработчиками все еще стоят сложные задачи. Проблемы с быстрым запуском диагностики и непрерывной оптимизацией баз данных сохраняются.
Чтобы решить эти проблемы, Alibaba Cloud выпустила Службу автономии базы данных (DAS) для пользователей облачных баз данных, которая реализует самоанализ базы данных, самодиагностику, самовосстановление и самозащиту на основе машинное обучение и экспертный опыт.
DAS — первая в отрасли облачная служба, обеспечивающая автономность базы данных. Он не только обеспечивает шесть функций автономности для механизмов баз данных (OLTP — представлен ApsaraDB для RDS и ApsaraDB для PolarDB, NoSQL — представлен ApsaraDB для Redis и OLTP — представлен AnalyticDB), но также поддерживает гибридные облака и предлагает функции эксплуатации и обслуживания баз данных корпоративного уровня, такие как аудит SQL и идентификация запросов с высоким риском.
Из тестов, основанных на данных, основанных на опыте экспертов и машинном обучении, очевидно, что DAS позволит вам организовать замкнутый цикл для обнаружения аномалий, анализа первопричин, ремонта и оптимизации, анализа трассировки и обратной связи. Для реализации автономной, стабильной и эффективной работы баз данных не требуется вмешательства человека.
Шесть основных функций автономии
Функция 1. Круглосуточное обнаружение аномалий. Аномалии рабочих нагрузок базы данных обнаруживаются в режиме реального времени с помощью алгоритмов машинного обучения. В отличие от метода предупреждений на основе пороговых значений, этот подход позволяет своевременно обнаруживать аномалии в базе данных, не полагаясь на сбои и сбои.
Функция 2. Автоматическое восстановление после аномалий.После обнаружения аномалии DAS автоматически выполняет анализ первопричины и выполняет все необходимые операции по контролю за ущербом, ремонту или оптимизации, чтобы облегчить автоматическое восстановление базы данных, уменьшая влияние на предприятие. Сервисы.
Функция 3. Автоматическая оптимизация. DAS постоянно выполняет проверку и оптимизацию SQL в вашей базе данных на основе глобальных рабочих нагрузок и реальных сценариев обслуживания, а не только оптимизирует отдельные операторы SQL. Это означает, что DAS постоянно защищает вашу базу данных, как круглосуточный администратор базы данных.
Функция 4. Интеллектуальная настройка параметров. Базы данных содержат сотни параметров и различных вариантов использования, что делает невозможным эффективную ручную настройку параметров для достижения оптимальных конфигураций. Команда DAS разработала функцию интеллектуальной настройки параметров в сотрудничестве с Академией DAMO. Эта функция сочетает технологии искусственного интеллекта с интеллектуальным стресс-тестированием, чтобы рекомендовать оптимальный параметр для каждого экземпляра базы данных.
Функция 5. Автоматическое масштабирование.DAS автоматически рассчитывает и прогнозирует бизнес-модель и уровень емкости баз данных на основе машинного обучения для достижения упреждающего автоматического масштабирования.
Функция 6. Интеллектуальное стресс-тестирование.DAS предоставляет настраиваемые сценарии тестирования. Он может автоматически изучать сервисную модель базы данных и генерировать рабочие нагрузки, имитируя реальные сервисы, когда это необходимо. Вы можете использовать разнообразные и адаптированные сценарии тестирования, которые помогут DAS решать проблемы управления базами данных, такие как проблемы пользователей с крупными акциями и выбором базы данных.
Для разработки автономии базы данных потребовалось много тяжелой работы и времени. Мы разделяем возможности автономности базы данных на 5 уровней:
- Уровень-0: управление базой данных зависит исключительно от вмешательства пользователя без какой-либо помощи со стороны продукта.
- Уровень 1: предоставляется базовая информация о мониторинге и предупреждениях, но не генерируются предложения по оптимизации.
- Уровень 2. В некоторых сценариях предоставляются предложения по диагностике и оптимизации, но для принятия решения о принятии и применении предложений по-прежнему требуется ручное вмешательство. Примером может служить механизм диагностики SQL.
- Уровень 3. В таких сценариях, как регулирование SQL и автоматическое масштабирование, может быть реализована полная автономия.
- Уровень 4: предоставляются автономные базы данных. DAS в настоящее время находится в середине напряженной процедуры для достижения статуса уровня 4.
Мы практикуем услуги автономии баз данных уже 6 лет. Начиная с 2014 года мы начали думать о том, как преобразовать опыт администратора баз данных в продукты, которые будут предоставлять более эффективные и интеллектуальные службы баз данных для развития бизнеса. Мы создали механизм диагностики SQL на основе правил. При вводе одного или нескольких операторов SQL механизм диагностики SQL напрямую выводит предложения по оптимизации.
В 2016 году была выпущена веб-версия CloudDBA с обновленным механизмом диагностики SQL. CloudDBA в Alibaba Cloud позволяет напрямую просматривать рабочие нагрузки базы данных и выполнять диагностику и оптимизацию SQL.
В 2018 году мы разработали и улучшили наши сервисы автономии баз данных с помощью наших бизнес-сценариев и приложений Alibaba.
По состоянию на апрель 2020 г. с помощью платформы автономной базы данных было автоматически оптимизировано более 42 миллионов операторов SQL, автоматически освобождено более 4 ПБ свободного места и автоматически оптимизировано 27 ТБ памяти. В ноябре 2019 г. , чтобы лучше обслуживать наших клиентов, мы обновили решение Hybrid Cloud Database Management (HDM), CloudDBA и возможности автономии базы данных до службы автономии базы данных, DAS.
Ключевые инновации и прорывы в четырех областях
Первый в мире комплексный механизм автономии базы данных: DAS реализует комплексную автономию базы данных в различных сценариях посредством централизованного принятия решений, разрешения конфликтов, принятия решений и распределения решений в особых сценариях автономии на основе анализа первопричин и агрегированных данных. информация об экземпляре.
Первый в мире внешний модуль диагностики SQL на основе затрат: DAS использует механизм диагностики на основе затрат, набор внешних инструментов оптимизации и объединение адаптивных механизмов сбора статистических данных для выполнения запланированных процедур оценки затрат. . Таким образом, автономная база данных будет реализовывать точную диагностику SQL и предложения по оптимизации вывода.
Технология оптимизации SQL на основе глобальных рабочих нагрузок. DAS оптимизирует производительность при глобальных рабочих нагрузках базы данных. Он учитывает общие показатели рабочей нагрузки базы данных для потенциального влияния на общую производительность базы данных, например, использование ресурсов выполнения SQL и соотношение чтения/записи. Таким образом, DAS может минимизировать потребление памяти при максимальной производительности глобальной базы данных.
Обнаружение и прогнозирование аномалий рабочей нагрузки на основе машинного обучения. Благодаря функции машинного обучения обнаружения аномалий рабочей нагрузки DAS может автоматически обнаруживать любые аномальные операторы SQL, которые вызывают изменения рабочей нагрузки и запускают глобальную оптимизацию. Это означает, что пассивный режим оптимизации был изменен на немедленный и активный режим глобальной оптимизации.
Международное академическое сообщество признает результаты исследований команды DAS и Академии DAMO.
Неконтролируемое обнаружение аномалий с помощью вариационного автоматического кодировщика для сезонных ключевых показателей эффективности в веб-приложении, WWW, 2018 г.
iBTune: Индивидуальная настройка буфера для крупномасштабных облачных баз данных, VLDB, 2019 г.
Диагностика основных причин периодических медленных запросов в крупномасштабных облачных базах данных, VLDB, 2020 г.
DAS может помочь предприятиям сэкономить 90 % на расходах на управление базами данных и снизить риски эксплуатации и обслуживания на 80 %. Это позволяет пользователям сосредоточиться на развитии бизнеса, оставаться инновационными и поддерживать оптимальную работу бизнеса.
Посетите www.alibabacloud.com/product/das, чтобы узнать больше о службе автономии облачной базы данных Alibaba (DAS).
