11.11 Большая распродажа облачных сервисов. Получите непревзойденные предложения со скидкой до 90% на облачные серверы и скидку до 300 долларов на все продукты! Нажмите здесь, чтобы узнать больше.
В финансовой индустрии варианты использования Fusion становятся все более сложными, а массовые данные становятся все более распространенными. Следовательно, необходимо новое поколение архитектуры технологии данных и основных механизмов для финансовых вычислений. На саммите разработчиков во время Конференции Apsara 2019, проходившей в Ханчжоу, Сяо Хэ, главный архитектор вычислительной техники и хранилища Ant Financial, обсудил настоящее и будущее аналитики финансовых данных в Ant Financial. Эта статья основана на его обсуждении на конференции.
За последнее десятилетие Ant Financial изменила форму финансовых услуг, используя несколько различных передовых и инновационных технологий, среди которых были оплата финансовых транзакций и технологии анализа финансовых данных.
Компания Ant Financial обнаружила, что, помимо соответствия требованиям традиционных больших данных, аналитика финансовых данных также должна соответствовать нескольким особым требованиям:
- Очень высокие требования к работе в режиме реального времени. Объем данных в режиме реального времени быстро растет, растет число онлайн-решений, а своевременность данных имеет решающее значение для развития бизнеса.
- Разнообразные варианты использования вычислений. Варианты использования вычислений развились от простой статистики и правил принятия решений до сложных систем графиков, моделей искусственного интеллекта (ИИ) и сложных правил принятия решений.
- Исследования, разработки и отладка по длинным каналам передачи данных. Исследования и разработки моделей охватывают более 18 систем, и используется несколько различных моделей исследований и разработок, что создает огромные проблемы для группы исследований и разработок.
- Высокая доступность вычислений и хранилищ: требуется междоменное аварийное восстановление и высоконадежные вычислительные услуги.
- Безопасность данных, соответствие нормативным требованиям, а также предотвращение и контроль рисков. Для защиты конфиденциальности пользователей, обеспечения соблюдения нормативных требований, а также предотвращения и контроля всех рисков требуется жесткая система безопасности и оценки данных.
Чтобы соответствовать требованиям аналитики финансовых данных, Ant Financial потратила много времени и усилий на разработку и развитие вычислительных технологий, лежащих в основе их услуг. Механизмы пакетных вычислений, такие как MapReduce или устойчивый распределенный набор данных (RDD), необходимы для обработки больших объемов данных. Вычисления в реальном времени необходимы для удовлетворения спроса на решения в реальном времени в отрасли. Интерактивный анализ реализован для удовлетворения растущих требований к анализу данных. Кроме того, вычислительные технологии также сталкиваются с определенными проблемами, например, с неэффективными исследованиями и разработками из-за нескольких моделей вычислений, различными требованиями к хранению, обусловленными несколькими системами, дополнительными расходами, различными требованиями к аварийному восстановлению, требованием обеспечения безопасности данных и повышением сложность.
Открытая вычислительная архитектура
Для инженеров идеальным решением предыдущих задач является построение единой системы. Однако трудно определить систему, определить границы системы и реализовать системную абстракцию. Во-первых, вычислительные механизмы тесно связаны с бизнесом, но не существует единого механизма, который мог бы удовлетворить все бизнес-требования Ant Financial. Более того, с постоянными инновациями в бизнесе также постоянно возникают новые требования. Поэтому для Ant Financial требуется открытая вычислительная архитектура, которая может работать со всеми типами вычислительных механизмов.
В открытой вычислительной архитектуре требуется унифицированное хранилище. Хранение данных может быть в различных форматах и в нескольких репликах и дубликатах. Кроме того, его можно оптимизировать для разных вычислительных движков. Однако унифицированное хранилище должно использоваться на базовом уровне, а унифицированные меры контроля безопасности должны приниматься на уровне сайта.
Контроль безопасности данных должен быть реализован на уровне сайта. Система анализа финансовых данных должна обеспечивать унифицированное управление метаданными, спецификации доступа, уровни безопасности и систему защиты конфиденциальности на всем сайте. Унифицированное управление метаданными и безопасность данных являются предпосылками для внедрения различных вычислительных механизмов. Кроме того, для каждого ядра должны быть доступны разные политики управления безопасностью.
В дополнение к открытой архитектуре, унифицированному хранилищу, унифицированному управлению метаданными и безопасности данных, Ant Financial также ожидает стандартную парадигму программирования. В настоящее время Ant Financial использует стандартные компоненты и расширения SQL, чтобы пользователи могли разрабатывать свою собственную бизнес-логику, напрямую используя базовые данные. В данном случае это абстрагирование движков и хранилища. Бизнес-инженерам нужно сосредоточиться только на назначении и своевременности данных, и им не нужно беспокоиться о потоковых и пакетных вычислениях, поскольку другие части автоматически оптимизируются и обрабатываются на уровне механизма и хранилища. Кроме того, программирование, ориентированное на данные, реализовано в стандартной парадигме программирования, а бизнес-инженеры разрабатывают бизнес-логику на основе абстрагированных данных, не обращая особого внимания на мелкие детали. Это и есть процесс виртуализации данных. Ant Financial разработала стандартную парадигму программирования на основе существующих вычислительных моделей и опыта работы с реальными приложениями. Эта парадигма может значительно улучшить опыт пользователей в области исследований и разработок.
Вышеуказанные инфраструктурные системы составляют общую систему анализа финансовых данных, которая, по мнению Ant Financial, может поддерживать непрерывное развитие финансового бизнеса в будущем. Сегодня одной из самых горячих тем в отрасли являются технологии искусственного интеллекта. Ant Financial также исследовала применение ИИ в своих бизнес-службах финансовой разведки.
В текущей системе искусственного интеллекта Ant Financial сначала создается набор данных, затем данные очищаются хранилищем данных и обучаются на платформе моделей, и, наконец, обученная модель выводится и отправляется в онлайн-сервисы. Во время процесса требуется несколько систем и должно существовать несколько дубликатов данных, что может привести к рискам безопасности данных и низкой эффективности хранения. Кроме того, другая проблема заключается в том, что этот процесс не может происходить в режиме реального времени из-за ограничений модели. Однако требования реального времени приобретают все большее значение для финансовых систем. И в то же время пользователям необходимо предоставить хранилище данных, понять платформу машинного обучения и развернуть модель в Интернете, что может сделать процесс сложным и утомительным. Ant Financial напрямую внедрила механизм машинного обучения в новую систему анализа финансовых данных.
SQLFlow от Ant Financial предназначался для использования SQL для характеристики и описания целевого контента машинного обучения, а также для использования SQL для соединения данных и машинного обучения, что делает машинное обучение таким же простым, как SQL. Пользователи могут обучать машинное обучение и совершенствовать прогнозы моделей, просто понимая SQL.
ElasticDL — это движок искусственного интеллекта с открытым исходным кодом от Ant Financial, основанный на эластичном планировании. Он был разработан полностью на основе программы TensorFlow с открытым исходным кодом, но дополнительно добавляет функции отказоустойчивости и гибкого планирования. ElasticDL также интегрирован с SQLFlow, что может помочь пользователям, предоставляя более простую модель обучения.
Вычисление финансовых графиков
У Ant Financial есть несколько типичных вариантов использования графических вычислений, таких как распознавание вывода средств в режиме реального времени, социальный анализ и маркетинговые целевые пользователи. Эти варианты использования могут быть легко реализованы в системе анализа финансовых данных Ant Financial аналогично тому, как работает вставка графового вычислительного движка в систему. Таким образом, система предоставляет как автономные, так и онлайн-машины графовых вычислений, а также соединяет потоковые вычисления с пакетными вычислениями для реализации гибридной вычислительной машины. Кроме того, Ant Financial намерена дополнительно оптимизировать свою систему анализа финансовых данных и упростить машинное обучение за счет использования стандартных языков программирования, таких как SQL и Гремлин. База данных онлайн-графов с высокой степенью согласованности также реализована на базовом уровне системы, которая предоставляет пользователям хранилище данных массовых графов.
Система анализа финансовых данных Ant Financial разработана на основе открытой архитектуры. Поэтому всякий раз, когда появляется новый механизм данных или модель данных, их можно легко интегрировать в систему. Когда возникают новые бизнес-требования, в систему также можно интегрировать глубоко настроенные механизмы. Любой интегрированный механизм можно напрямую использовать для обработки больших финансовых данных. Когда эти вычислительные механизмы работают стабильно, их можно включить на верхнем уровне для дальнейшей оптимизации эффективности исследований и разработок.
Fusion Computing финансовых данных
После создания системы анализа финансовых данных нам также необходимо рассмотреть варианты использования сложных вычислений для обработки предприятий. В сложных случаях финансового использования необходимо одновременно использовать несколько вычислительных механизмов. Таким образом, для поддержки более эффективной связи между вычислительными механизмами необходимы комбинированные вычисления. Для этой цели компания Ant Financial совместно с Калифорнийским университетом в Беркли разработала вычислительный движок Ray Fusion. Когда используется вычислительный движок слияния, для описания различных вычислительных задач можно использовать единый процесс исследований и разработок и стандарт. Кроме того, общий статус вычислений, данные и промежуточные результаты являются общими. В этом случае пользователи могут выбрать любой язык исследований и разработок для выполнения таких задач, как обработка данных, машинное обучение и графические вычисления.
Вычислительный движок Ray Fusion — это платформа с открытым исходным кодом. Ant Financial внесла большой вклад в проект Ray, а также способствовала развитию сообщества Ray совместно с Калифорнийским университетом в Беркли. Вычислительный движок Ray Fusion может преобразовывать простую локальную логику пользователей в масштабные модели распределенного выполнения. Ant Financial реализовала несколько вариантов использования Fusion Computing на основе фреймворка Ray. Например, динамический вывод графа в сочетании с потоковыми вычислениями и вычислениями на основе графа позволяет выполнить 6-уровневый итеративный запрос за одну секунду. Для онлайн-принятия финансовых решений процесс принятия решения от производства данных до распределенного запроса может быть завершен в течение одной секунды. Онлайн-машинное обучение обеспечивает сквозное обновление и передачу данных из образцов данных в модели за считанные секунды.
Вычислительный движок слияния не предназначен для замены всех движков, упомянутых ранее, но будет вставлен в открытую вычислительную архитектуру в качестве вычислительного движка для особых случаев. Получив глубокое понимание всех вычислительных движков, мы можем оптимизировать их и построить слой SmartSQL.
Будущие перспективы
Наконец, я поделюсь взглядами Ant Financial на систему анализа финансовых данных. Мы надеемся, что в будущем система анализа финансовых данных сможет обеспечить унифицированное хранилище на базовом уровне и предоставить открытые, подключаемые и многократно используемые механизмы на промежуточном уровне. Кроме того, мы надеемся, что верхний уровень можно будет оптимизировать и унифицировать или напрямую открыть для разных движков, чтобы сформировать большую систему базы данных. Мы надеемся, что система анализа финансовых данных будет такой же простой, как база данных, и что ее можно будет превратить в большую базу данных с открытой вычислительной архитектурой. Таким образом, система анализа финансовых данных может обрабатывать данные и поддерживать неограниченную масштабируемость.
