Фильтрация и экспорт журналов AWS

У меня есть вариант использования — мне нужно передавать и хранить журналы на s3, но не все журналы из cloudtrail, а только определенные отфильтрованные группы. Я нашел хорошее решение, но оно имеет ограничения. Изначально я могу сделать это, применив фильтр подписки к группе журналов, и этот фильтр записывает журналы в пожарный шланг kinesis. Это хорошо, но одна группа журналов может иметь только один фильтр подписки и один трейл — одну группу журналов. Должен ли я создавать один трейл на один фильтр? Похоже на перебор. Я ищу возможные решения для архивирования этого. Tbh, я хочу избежать использования lambda и athena, но если это единственное решение, я пойду на это. Заранее спасибо за любые предложения

Не спрашивайте меня, почему так должно быть... :D соответствие требованиям безопасности


person Sebastian Zalewski    schedule 23.07.2020    source источник
comment
Вместо потоковой передачи в Firehose вы можете выполнять потоковую передачу в Lambda. Лямбда выполнит фильтрацию и распределит записи журнала по соответствующим корзинам.   -  person Marcin    schedule 23.07.2020
comment
Спасибо, Марчин, это хорошее предложение.   -  person Sebastian Zalewski    schedule 23.07.2020
comment
Рад слышать. Если вы не возражаете, я могу поместить это как ответ с некоторой дополнительной информацией.   -  person Marcin    schedule 23.07.2020
comment
Вы просто обрабатываете журналы CloudTrail? И есть ли причина, по которой вы не можете отправлять эти журналы в S3, а не в CloudWatch?   -  person Parsifal    schedule 23.07.2020


Ответы (1)


На основании комментариев.

Предлагаемое решение этой проблемы — настроить фильтр подписки на лямбда-функцию, а не на поток Firehose.

Лямбда-функция может обрабатывать записи журнала и на основе собственных правил фильтрации направлять различные записи журнала в соответствии с их назначением. Это может включать прямую запись в заданные сегменты S3 или в разные потоки Firehose.

person Marcin    schedule 23.07.2020