Вопросы по теме 'amazon-kinesis-firehose'
Код в Node.js AWS Lambda Package не будет вызывать putRecord () для добавления данных в AWS Kinesis Firehose Stream
Я создал пакет развертывания AWS Lambda (с использованием Node.js), который выполняется, когда объект помещается в указанную корзину S3. Я настроил исполняемый код для добавления 10 случайно сгенерированных записей в поток Kinesis Firehose....
1792 просмотров
schedule
23.04.2022
AWS Firehose не доставляется в Redshift — где журналы?
Я знаю, что у других была такая же проблема [1], и теперь у меня тоже. Я пробовал все предложенные методы устранения неполадок по этому вопросу. Обобщить:
Это новый Firehose для Redshift
Объекты S3 предсказуемо появляются со 100% успехом в...
977 просмотров
schedule
12.07.2022
Есть ли способ вручную установить идентификатор документа ElasticSearch при вставке через AWS Kinesis Firehose?
У меня есть AWS Kinesis Firehose Stream, настроенный для подачи данных в кластер AWS ElasticSearch, и я могу успешно вставлять документы, отправляя их в Firehose Stream, который загружает их в ElasticSearch.
Но я хотел бы иметь возможность вручную...
1502 просмотров
schedule
02.02.2023
Агент kinesis для лямбда, как получить исходный файл и сервер
У меня есть агент kinesis, который передает много информации из файлов журнала в потоки kinesis, и у меня есть функция Lambda, которая анализирует информацию. На Lambda в дополнение к строке мне нужно знать имя исходного файла и имя машины, возможно...
480 просмотров
schedule
02.05.2023
Использование AWS Firehose без AWS SDK
Я рассматриваю возможность использования Firehose для отправки данных из веб-приложения.
Сервис Firehose доступен через AWS SDK.
SDK тяжелый (aws-sdk-2.5.5.min.js весит 1 млн). Это может увеличить время загрузки сайта.
Это проблема? Как это...
175 просмотров
schedule
11.03.2023
В демо-версии Kinesis Firehose нет разделителей; Redshift не может анализировать без. Что неправильно?
Когда я прошел первые шаги обучения с Kinesis, Firehose и Redshift сегодня, я был рад обнаружить, что у Amazon есть настройка «попробуйте наш производитель демонстрационных данных».
Я был разочарован, узнав, что на самом деле это не работает....
808 просмотров
schedule
13.02.2023
Отправка данных из Kinesis Analytics в Kinesis Firehose не работает
Я добавил Kinesis Firehose Stream в качестве пункта назначения в службу Kinesis Analytics. Данные правильно вставляются в Kinesis Analytics, но не могут попасть в поток Kinesis Firehose.
Вы предоставили все разрешения Kinesis роли IAM, связанной с...
407 просмотров
schedule
28.06.2022
Шлюз API CORS HTTP 415
Хорошо, я облазил все эти сети в поисках понимания моей проблемы; Вероятно, я прошел через более 80 потоков переполнения стека RE API-шлюз и тому подобное, но ни один из них, похоже, не помогает и не говорит достаточно близко к моей проблеме.
Я...
2378 просмотров
schedule
31.10.2022
Поддерживает ли Amazon Kinesis Firehose программную поддержку преобразования данных?
У меня есть случай использования, в котором я должен убедиться, что полезные данные, отправленные в пожарный шланг Kinesis, действительно отправляются.
Для этого я придумал цепочку Firehose -> Firehose Data transform (using lambda) -> DDB -> Check...
1050 просмотров
schedule
26.05.2023
Есть ли способ выполнять почасовую пакетную запись из Google Cloud Pub/Sub в Google Cloud Storage?
Я хочу хранить данные о событиях IoT в облачном хранилище Google, которое будет использоваться в качестве озера данных. Но делать вызов PUT для каждого события слишком дорого, поэтому я хочу добавить в файл, а затем выполнять вызов PUT в час. Как...
328 просмотров
schedule
07.04.2023
Буферизация AWS Firehose
При записи записей в AWS Firehose, для которого S3 настроен в качестве получателя вывода, как долго эти данные буферизуются перед записью в S3? Или есть минимальный порог размера?
Например, я делаю следующее, чтобы добавить записи:
авс кли:...
1643 просмотров
schedule
22.05.2022
Разделитель не найден / длина строки превышает длину DDL
Я использую поток доставки Amazon kinesis firehose, чтобы скопировать свои данные в красное смещение. Я использовал поток DynamoDB в качестве источника данных, использовал lambda-streams-to-firehose лямбда-функция для копирования данных в поток...
833 просмотров
schedule
07.07.2023
Запись паркета из пожарного шланга AWS Kinesis в AWS S3
Я хочу загрузить данные в s3 из пожарного шланга Kinesis, отформатированного как паркет. Пока я только что нашел решение, которое подразумевает создание EMR, но я ищу что-то более дешевое и быстрое, например, сохранить полученный json как паркет...
16625 просмотров
schedule
26.06.2023
Разделение данных AWS Kinesis Firehose на s3 по полезной нагрузке
Я использую AWS-Kinesis-Firehose для ввода данных в S3, а затем использую их с помощью Athena.
Я пытаюсь анализировать события из разных игр, чтобы Athena не исследовала много данных. Я хотел бы разделить данные s3, используя идентификатор для...
3564 просмотров
schedule
14.07.2022
AWS: настройка потока кинезиса из PostgreSQL в Redshift
Что касается моего предыдущего вопроса, я попросил своего босса пойти дальше и позволить мне настроить DMS из моих существующих postgres на нашу новую базу данных красного смещения для нашей команды аналитиков.
Следующая проблема, с которой я...
709 просмотров
schedule
17.09.2022
непрерывно загружать журналы из S3 в DynamoDB
логи наших приложений перекачиваются на S3 через Kinesis Firehose. мы хотим, чтобы эти данные также поступали в DynamoDB, чтобы мы могли эффективно запрашивать данные, которые будут представлены в веб-интерфейсе (приложение Ember). необходимость в...
163 просмотров
schedule
02.06.2023
способ установить время отправки данных в Kinesis Analytics, например, каждые 5 минут
Я действительно запутался в том, как работает кинезис и кинезисная аналитика.
Мне нужно отправить некоторые данные в kenisis analytics, а затем десять лучших историй (данные) должны отправляться в лямбда-функцию каждые 5 минут. У меня есть поток...
138 просмотров
schedule
13.08.2022
Набор Kinesis Data Firehose с веб-страницей
Что ж, у меня есть веб-страница (PHP), которая работает локально, и к ней обращаются из разных стран. Я хотел бы получить какие-то данные и где-нибудь их сохранить. Я могу обрабатывать внутри команды данные и формат файла, чтобы уловить информацию....
104 просмотров
schedule
08.01.2023
Версия API AWS Firehose
Я хочу использовать фиксированную версию API AWS Kinesis Firehose вместо «последней» версии. Где я могу найти список версий API для AWS Kinesis Firehose?
return new FirehoseClient([
'version' => 'latest',
'region' =>...
68 просмотров
schedule
04.02.2023
AWS DynamoDB Stream в Redshift
Мы хотели бы постоянно перемещать данные из DynamoDB NoSQL в базу данных Redshift в виде потока. Мне сложно понять все новые термины / технологии в AWS. Там есть
1) DynamoDB Streams
2) AWS Lambda
3) AWS Kinesis Firehose .
Может ли...
4844 просмотров
schedule
24.12.2022
