У меня есть журналы в формате ключ-значение. Эти пары "ключ-значение" могут меняться для разных журналов. Хочу сделать аналитику по нему.. Поскольку он неструктурирован, подумал, что мне следует поставить dynamodb, но тогда для аналитики лучше использовать красное смещение. Мне также, возможно, не придется сохранять все ключи-значения в красном смещении, но это необязательно. Несколько вариантов, о которых я думал:
- Поместите журналы в S3. Затем используйте команду копирования; но я не смог найти способ преобразовать ключ-значение в формат JSON в команде COPY, потому что для копирования требуется только json или csv!
- Используйте Kinesis Stream, чтобы получать файлы журналов в потоковом режиме. Но тогда как лучше всего использовать эти файлы журналов? Через клиентскую библиотеку Lambda или Kinesis! Один из вариантов, о котором я думал, - это средство форматирования агента kinesis для форматирования файлов в JSON, но это не очень гибко. А после чего!
- Поместите файлы журнала в журналы CloudWatch! Но тогда как его потреблять
