Как создать правило Amazon Event Bus для обработки события AWS Data Pipeline?

  1. У нас есть конвейер данных AWS, который копирует данные из S3 в Redshift (RedshiftCopyActivity).
  2. Мы хотим вызвать лямбда-функцию после завершения копирования.

На данный момент я понимаю:

  1. Amazon Event Bus - это рекомендуемый способ обработки события и вызова функции.
  2. Конвейер данных не вызывает события напрямую, но вызывает вызовы API CloudTrail.

В CloudTrail + Event Bridge есть строка страница: если вы хотите настроить шаблон события, выберите «Изменить», внесите изменения и нажмите «Сохранить».

Есть ли какие-либо подробности о том, как именно написать это правило, соответствующее определенному идентификатору конвейера данных, RedshiftCopyActivity и статусу FINISHED?

Или, если есть более простой способ добиться этого, я приветствую это, спасибо.


amazon-redshift aws-event-bridge aws-data-pipeline
person blu    schedule 06.12.2020    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Действительно, по какой-то причине я не могу найти никакой документации или примеров событий для событий AWS Data Pipeline в сервисе EventBridge.

Однако я предлагаю Вам сделать следующее:

  1. Создайте правило в сервисе EventBridge для сервиса AWS Pipeline.
  2. Выберите соответствующие детали (AWS, Data Pipeline, Все события)

Как только вы его получите, подключите его к Lambda и просто запишите полученные вызовы и события.

Затем вы можете получить некоторые примеры различных событий и разработать соответствующую логику для обработки требуемых.

Кроме того, позже вы можете изменить шаблон события в правиле (в службе EventBridge), поэтому вы будете вызывать Lambda только для определенного события.

введите описание изображения здесь

person Nir Abraham    schedule 07.12.2020