Я использую AWS-Kinesis-Firehose для ввода данных в S3, а затем использую их с помощью Athena.
Я пытаюсь анализировать события из разных игр, чтобы Athena не исследовала много данных. Я хотел бы разделить данные s3, используя идентификатор для каждой игры, пока не нашел решения, так как Firehose получает данные из разных игр.
Кто-нибудь знает, как это сделать?
Спасибо, Хави.
Вы можете использовать Amazon Kinesis Analytics для разделения входящих Потоки Firehose в отдельные выходные потоки на основе некоторой логики, такой как идентификатор игры.
Он может принимать KinesisFirehoseInput и отправлять данные в KinesisFirehoseOutput.
Однако документация по ограничениям, похоже, предполагает, что могут быть только быть 3 места назначения вывода на приложение, так что этого было бы недостаточно.
Вы можете отправить свой трафик в основной поток FireHose, а затем использовать лямбда-функцию для разделения данных на несколько потоков FireHose — по одному для каждой игры, которая будет сохранять данные в отдельной папке / ведре.
