Вопросы по теме 'amazon-kcl'

Может ли клиентская библиотека Amazon Kinesis использовать несколько потоков?
У меня есть быстрый вопрос. Может ли KCL потреблять данные из нескольких потоков? Стоит ли вам когда-либо настраивать несколько потоков для своего приложения или отдельный поток должен быть привязан к отдельному приложению? Мой конкретный вариант...
1116 просмотров

рабочая логика клиента kinesis
Я хочу понять, когда метод processRecords IRecordProcessor вызывается из worker. Если мой предыдущий вызов processRecords еще не завершен, будет ли рабочий вызывать следующий processRecords? Начнет ли worker извлекать новые записи из kinesis или...
1396 просмотров
schedule 27.08.2022

Как использовать ExplicitHashKey для назначения потоков с циклическим перебором в AWS Kinesis
Я пытаюсь перекачивать много данных через Amazon Kinesis (порядка 10 000 точек в секунду). Чтобы максимизировать количество записей в секунду через мои осколки, я хотел бы выполнять циклический перебор моих запросов по осколкам (логика моего...
3461 просмотров
schedule 10.03.2023

Порядок записей потока Dynamodb
Я заполняю записи в dynamodb в следующей последовательности: A11, A12, A13, A14, A15, A21, A22, A23, A24, A25, A31, A32, A33, A34, A35 Записи с одинаковым префиксом (Ai) имеют один и тот же ключ раздела, но разные ключи сортировки....
433 просмотров

Как реализовать рабочий поток, который будет обрабатывать записи Kinesis и обновлять графический интерфейс в javaFx?
Я работаю над приложением для мониторинга микросервисов. Мое приложение предполагает соответствующее обновление графического интерфейса при получении новой потребляемой записи, что означает: Когда я получаю новую запись: 1) Я проверяю, является ли...
118 просмотров

Коннектор кинезиса Flink - KCL
Мы используем kinesis flink connector , чтобы потреблять и производить записи в кинезис из флинка. Поскольку он использует KCL , он должен делать записи в dynamoDB со смещением для потоков кинезиса, которые он потребляет. Мы не видим никаких...
88 просмотров

AWS KCL с MultiLangDaemon: контрольная точка на ПОСЛЕДНЕМУ?
У меня есть потребитель Kinesis, чья работа заключается в отслеживании текущих активных пользователей в системе. Каждую минуту пользователи отправляют контрольный сигнал в поток Kinesis, и эта система просто хранит список всех уникальных...
66 просмотров

Работают ли Testcontainers / LocalStack с DynamoDb Streams KCL 1.x?
Постановка задачи Я написал программу, которая использует DynamoDb Streams для получения уведомлений об обновлении, этот код отлично работает при использовании сервисов AWS, но, похоже, не работает с использованием Testcontainers / Localstack для...
128 просмотров