Производитель Kafka с регулируемым количеством сообщений в секунду

Как лучше всего написать продюсера Apache Kafka с устойчивым, но регулируемым выходом.

Пример: производитель должен отправлять брокеру постоянные 1000 сообщений в секунду. Во время выполнения вывод должен быть настроен на 10 или 10000 сообщений / сек.

Один из подходов - настроить планировщик, который запускается каждую секунду и пакетно отправляет заранее определенное количество сообщений.

Дополнение: поскольку этот производитель должен быть частью инфраструктуры тестирования производительности, количество сообщений, которые необходимо отправить, довольно велико. Как справиться с очень высокими нагрузками? Было бы полезно использовать для этого Akka?

Целевым языком является Scala, но мы приветствуем примеры кода на любом языке.


person benny.la    schedule 22.12.2015    source источник


Ответы (1)


В java это может быть реализовано с помощью ограничения скорости guava в коде производителя, где вы можете определить скорость, с которой производитель может отправлять сообщения брокеру kafka.

person manohar chamaraju    schedule 02.01.2016