Я ищу решение для передачи DynamoDB Streams на мой собственный веб-перехватчик или локальный конвейер данных для обработки данных. Основываясь на моем исследовании, а также на этом потоке, похоже, что нам нужно подключить потоки DynamoDB либо к
Я не могу найти другой адаптер или, точнее, универсальный адаптер веб-перехватчика.
Можно ли направить поток наружу, напрямую подключившись к моему веб-перехватчику?
Вот как я это сделал.
DynamoDB -> Streams (Старый и новый образ) -> Lambda -> (http / https или любая другая конечная точка)
Пусть ваша таблица DynamoDB создает потоки со старым и новым изображением измененных данных и отправляет их на вашу лямбду. Как только лямбда сработает, он доставит вам пакет.
Вы также можете настроить один или несколько пакетных данных, доставляемых в лямбда-выражение.
Потоки DynamoDB:
https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/Streams.html
Реализация триггера событий NodeJS Lambda DynamoDB:
https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/Streams.Lambda.Tutorial.html
Надеюсь, поможет.
Серия из 2 частей о потоковой обработке от Dynamodb до Elasticsearch:
https://medium.com/realtime-data-streaming/data-streaming-from-dynamodb-scaling-it-up-8273d23295c
В первом посте есть некоторая оценка Lambda и KCL, и в обоих есть подробности о подходе KCL. Надеюсь это поможет.
