Использование машинного обучения для решения проблем согласования данных в финансовых услугах

Успех в сфере финансовых услуг все больше зависит от скорости и точности нормализации и согласования данных. Банки, управляющие активами, хранители, брокеры-дилеры, управляющие портфелем, рыночные коммунальные предприятия и т. Д. - все в основном основаны на данных. Тысячи сотрудников работают в компании, сопоставляют, вычисляют и сообщают огромные объемы данных каждый день во всех сферах бизнеса.

Согласование данных для их агрегирования, анализа и составления отчетов - это бесконечная деятельность в сфере финансовых услуг. Большая часть этой работы по согласованию выполняется командами по обработке данных с помощью традиционных инструментов ETL, но таблицы и ручные процессы широко распространены. Изобилие неэффективности и затрат, особенно при использовании новых источников данных.

Неэффективность согласования данных - это именно та проблема, которую может решить базовое машинное обучение. Многократная ценность с точки зрения времени, эксплуатационных расходов и избежания штрафных санкций может быть достигнута за счет использования машинного обучения в ключевых точках согласования данных.

Где затраты на согласование данных влияют на финансовые учреждения

Неэффективность согласования данных может возникнуть в любой части бизнеса, где:

  • Новые источники данных должны быть сопоставлены с внутренними или внешними записями (клиент, мастер службы безопасности, должность, код LEI и т. Д.)
  • Сравниваются или агрегируются несколько источников / типов данных (рыночный риск, кредитный риск, RWA, стресс-тестирование ликвидности, лимиты риска, BCBS 239 и т. Д.)
  • Внутренние данные должны соответствовать внешней базе данных записей (торговый репозиторий, база данных регулирующего органа, кредитные отчеты третьих сторон, AML / KYC / CFT и т. Д.)
  • Существуют ручные механизмы контроля и утверждения (подключение клиентов, контроль транзакций, кредитный контроль, кредиторская задолженность и т. Д.)
  • Существует проект миграции системы или данных (объединение нескольких систем в одну, подключение новой системы, получение нового кредитного портфеля или счетов клиентов и т. Д.)
  • Требуется нормативная отчетность (Dodd-Frank, MiFiD II / MiFiR, OFAC, GDPR и т. Д.)
  • Журналы аудита составляются и анализируются (внутренний аудит, нормативный аудит, CAT 613, OATS, IFRS 9, SMR, SOX и т. Д.)
  • Множественные сверки 1 к 1 объединяются в сверки, состоящие из нескольких частей (неттинг обеспечения, отчетность банковской холдинговой компании и т. Д.)
  • Требования рынка быстро развивались (множественные биржи, структура рынка, облачные вычисления, расчеты TARGET2, коммунальные услуги и т. Д.)

«Новая норма» - почему традиционные ETL и фиксированные структуры данных терпят неудачу

Новые далеко идущие бизнес-требования и нормативные требования, которые зависят от быстрой обработки, согласования и агрегирования сложных данных, стали «новой нормой» в сфере финансовых услуг. К сожалению, традиционные подходы к фиксированной модели данных / ETL плохо адаптируются к этим новым сложным требованиям.

Согласно традиционной модели, бизнес-аналитики и специалисты по ETL / данным должны создавать технические требования, внедрять новые источники данных, анализировать данные и применять процессы ETL, которые соответствуют фиксированной модели данных ниже по потоку. Это очень сложно, требует значительного времени и часто требует расширения объема проекта на несколько частей бизнеса.

Эти ограничения могут иметь четыре последствия для бизнеса:

  1. Строгие ограничения на получение новых источников данных могут вызвать критические задержки, когда скорость требуется для достижения критически важной цели (слияния и поглощения, нормативные требования / соответствие)
  2. Плохо масштабируется. Переход от рабочих нагрузок на уровне BAU и объемов данных для выполнения больших новых проектов в короткие сроки может привести к хаосу в командах, занимающихся данными и технологиями.
  3. Прошлое определяет будущее: системы, разработанные с учетом старых требований, могут существенно ограничивать способы приема новых данных и то, что можно делать с данными в нисходящем направлении.
  4. Новые типы данных и источники могут потребовать значительного реорганизации процесса, обучения и найма. Это может привести к тому, что сроки проекта превысят даты «жесткой остановки», установленные бизнесом или регулирующими органами.

Также могут произойти две другие (очень негативные) вещи:

  • Новые коммерческие или нормативные проекты могут отставать от графика и превышать доступные бюджеты.
  • Бизнес-пользователи избегают вовлечения группы обработки данных и разрабатывают собственные процессы на основе электронных таблиц для ввода и согласования данных. Это приводит к высоким затратам, низкой прозрачности / проверяемости и высокому уровню ошибок.

Как машинное обучение может повысить эффективность и снизить затраты на согласование данных

Базовое машинное обучение может быть реализовано, чтобы помочь решить проблемы скорости и стоимости подключения и согласования новых источников данных.

Основная проблема со структурированными данными / подходами ETL - это низкая скорость приема новых данных и сопоставления. Наибольшая «отдача от вложенных средств» может быть достигнута путем исключения медленных, выполняемых человеком процессов на этапе адаптации исходных данных, и замены их машиной, которая анализирует новые данные и само учит их, как обрабатывать новые данные.

Идеальная система для этой цели:

  • Подключается к большинству / всем источникам данных (новый источник, а также существующие источники для сопоставления, плюс существующие источники структурированных данных и уровень ETL)
  • Принимает данные в широком диапазоне форматов (csv, XML, feed, SQL, NoSQL и т. Д.)
  • Обрабатывает данные в памяти, чтобы максимизировать скорость и емкость
  • Имеет встроенный механизм данных, который автоматически «изучает» источники и шаблоны данных, анализирует их на предмет вероятных совпадений в нескольких наборах данных, выделяет исключения / несоответствия согласования и представляет списки необходимых действий для решения проблем с данными.
  • Имеет простой в использовании интерфейс, который помогает аналитикам быстро создавать правила управления данными в центральном офисе с возможностью реализации автоматизированных процессов утверждения.
  • Записывает все действия в проверяемом формате

Три тематических исследования машинного обучения в крупномасштабных проектах согласования

Случай №1: данные о сборах, ценах и транзакциях от 200+ финансовых консультантов американской компании по управлению активами

Платформа согласования с возможностями машинного обучения была внедрена в крупной американской компании по управлению благосостоянием. Перед внедрением системы операционному отделу приходилось вручную вручную согласовывать сотни источников данных из Excel, PDF, электронных писем и более 220 веб-сайтов, представленных финансовыми консультантами фирмы. Процессу не хватало контроля, автоматизации и надзорного контроля / утверждения.

Внедрение новой системы включало ее указание на источники данных, а затем позволяло механизму машинного обучения и согласования обрабатывать данные в памяти. Были применены алгоритмы, основанные на вероятности, и в отчете были созданы потенциальные несоответствия / исключения. Затем группа эксплуатации обработала их и смогла быстро разработать повторно используемые правила сопоставления и утверждения / элементы управления в центральном офисе. После создания правил система могла автоматически проверять качество данных в пределах заданных допусков, генерировать отчеты об исключениях и выводить файл для использования системой бухгалтерского учета фирмы. Это устранило операционный риск от ручного вырезания и вставки данных, внедрило надзорную проверку и автоматически интегрировало ее с системой бухгалтерского учета. Было достигнуто повышение эффективности на несколько миллионов долларов в год.

Случай № 2: сверка между брокером и дилером нескольких обменов с несколькими внутренними системами для ETD

Крупный брокер-дилер с глобальными операциями торгует ETD на более чем 80 различных биржах. Для сбора и обработки данных о ценных бумагах, сделках, ценах, позициях и клиентах используются многочисленные внутренние системы. Из-за высокого уровня сложности и требований к производительности в сочетании с отсутствием согласования и нормализованной системы контроля фирма все больше не могла выйти на новые рынки. По оценкам компании, на внедрение новой АТС ушло более 200 человеко-дней.

Фирма внедрила систему сверки с возможностями машинного обучения и сопоставления в памяти. Система принимала данные из 80+ обменов и нормализовала / согласовывала их с различными внутренними системами с их фиксированными структурами данных. Механизм обучения смог быстро обработать миллионы исторических транзакций, отобразить исключения и несоответствия и предложить правила сопоставления. Фирма смогла разместить 2 биржи в день, а не 2 в месяц.

Пример № 3: Приобретение нового портфеля бизнес-кредитов от другого кредитора

Региональный банк приобрел у конкурента портфель из нескольких тысяч бизнес-кредитов. Процесс подключения к этим кредитам потребует адаптации клиентов, KYC / AML, казначейства, лимитов, технологий, управления проектами, дебиторской задолженности, группы кредитных операций банка-продавца и, возможно, финансовых групп заемщиков.

Данные хранились в банке-продавце в разных системах и форматах и ​​были привязаны к разным клиентским и кредитным записям. Для ввода данных о ссуде потребовался анализ данных, сопоставление с внутренней LMS банка, выявление несоответствий и пробелов, создание правил сверки и сопоставление их с внутренними записями клиентов. Это нужно было сделать до того, как ссуды можно будет управлять, включать в расчет прибылей и убытков и рисков и выставлять счета. По оценке внутренней команды банка, для адаптации кредитного портфеля потребуется 5–6 месяцев с их существующими системами, с анализом каждой необходимой ссуды.

Банк решил внедрить облачную систему сверки с возможностями машинного обучения. Кредитный портфель и связанные с ним записи о клиентах и ​​платежах были загружены в систему и сопоставлены с внутренней LMS и бухгалтерскими записями банка. Система смогла сопоставить примерно 65% данных с внутренними записями в течение 1 дня и представила оставшиеся данные на центральной панели управления для решения. Весь портфель был загружен за 2 недели, включая новые правила сопоставления и записи, средства контроля и импорт в LMS фирмы.

В двух словах

Как показывают эти примеры, базовые возможности машинного обучения могут быть использованы для быстрого удовлетворения бизнес-требований и нормативных требований там, где традиционные подходы к структурированным данным терпят неудачу. Учитывая скорость изменений в финансовых услугах, изучение того, как можно использовать машинное обучение для согласования данных в вашей фирме, может принести значительные выгоды.