Вопросы по теме 'kafka-producer-api'
Дополнительный ключ раздела Kafka или разделитель без ключа
Я новичок в Кафке и у меня есть некоторые проблемы. Я знаю, что мы можем внедрить класс Partitioner с собственной логикой разделов, которая возвращает определенный раздел в зависимости от ключа сообщения. Также мы можем установить политику сжатия...
308 просмотров
schedule
22.12.2022
Проблема с производительностью Kafka Producer 0.9 с небольшими сообщениями
Мы наблюдаем очень низкую производительность клиента Java Kafka Producer 0.9 при отправке небольших сообщений. Сообщения не накапливаются в более крупный пакет запросов, и поэтому каждая небольшая запись отправляется отдельно.
Что не так с...
4244 просмотров
schedule
28.11.2022
Настройка автоматического выключателя с исходящим адаптером для решения проблемы тайм-аута соединения
<int:service-activator input-channel="toKafka" ref="conditionalProducerService" method="producerCircuitBreaker">
<int:request-handler-advice-chain>
<ref bean="circuitBreakerAdvice1" />...
918 просмотров
schedule
08.07.2022
Производитель Kafka с регулируемым количеством сообщений в секунду
Как лучше всего написать продюсера Apache Kafka с устойчивым, но регулируемым выходом.
Пример: производитель должен отправлять брокеру постоянные 1000 сообщений в секунду. Во время выполнения вывод должен быть настроен на 10 или 10000 сообщений...
371 просмотров
schedule
03.05.2023
Как получить доступ к брокерам kafka, защищенным kerberos, из Eclispe, работающего в Windows 7
У меня есть этот код Java, пытающийся добавить сообщения в очередь kafka
String msgID = UUID.randomUUID().toString();
Properties prop = new Properties();
prop.put("metadata.broker.list", DEFAULT_BROKER);...
1116 просмотров
schedule
23.10.2023
Apache Kafka: как отправлять данные с другой машины
Недавно я начал изучать Apache KAFKA для приложения IOT, над которым я работаю. Прямо сейчас у меня есть устройства, которые уже отправляют данные на сервер, используя HTTP POST и GET.
После долгой борьбы в течение как минимум 5-6 часов. Я не...
750 просмотров
schedule
03.09.2023
Есть ли способ атомарного производства в kafka?
У меня есть источник, откуда я получаю пакет сообщений. Эти сообщения нужно добавлять в Kafka — надежно — без промахов и без нарушений порядка.
Если я использую производителя aync, когда я помещаю много сообщений, мне интересно, если раздел не...
1377 просмотров
schedule
21.06.2022
Невозможно увидеть сообщения kafka, созданные из Java API, в потребительской консоли.
Я пытался создать несколько сообщений и поместить их в тему, а затем получить то же самое от пользователя консоли.
Используемый код:
import java.util.Date;
import java.util.Properties;
import kafka.javaapi.producer.Producer;
import...
850 просмотров
schedule
09.08.2022
безопасно ли добавить раздел или брокера онлайн для кафки?
Спасибо за ваше терпение.
После добавления разделов в онлайн-тему потребитель kafka перестает читать сообщение, и исключения не генерируются. Потребитель просто блокирует. Каждый раз приходится перезапускать потребителя. Я считаю это...
2021 просмотров
schedule
07.11.2023
Получить сообщение, зная его раздел и смещение в Kafka
Я работаю над Kafka 0.9. Мне интересно, есть ли какой-либо способ получить сообщение, которое было обработано, из его темы, зная раздел и смещение. Например, потребитель в настоящее время использует сообщение в разделе 1 и смещении 10. И я хочу...
4491 просмотров
schedule
07.06.2023
Кафка выбрасывает исключение java.nio.channels.ClosedChannelException
Когда я пытаюсь получать сообщения с сервера kafka, который размещен в ec2, с помощью инструмента консоли kafka (V 0.9.0.1, я думаю, что здесь используются старые потребительские API), я получаю следующее исключение. Как я могу это преодолеть?
#....
12885 просмотров
schedule
19.09.2022
Как настроить тему производителя kafka с более чем одним разделом с помощью интеграции Spring kafka
Я прочитал много статей, но не нашел, как настроить Producer, у которого есть тема с несколькими разделами (тема, созданная во время выполнения), с помощью Spring Integration Kafka.
Я использую ссылку на github , чтобы понять и настроить kafka для...
1250 просмотров
schedule
07.09.2022
Объемный режим коннектора Kafka JDBC
Коннектор kafka-connect-jdbc непрерывно отправляет одни и те же записи в массовом режиме через определенный интервал времени. Вот мои свойства коннектора:
name=test-mssql-jdbc-autoincrement...
4307 просмотров
schedule
24.03.2023
каковы плюсы и минусы создания брокера kafka и zookeeper в двух docker conatiners на одной машине
Я создаю конвейер данных kafka с 3 брокерами kafka и 3 сотрудниками зоопарка, поэтому мне нужно использовать 6 машин для развертывания 3 брокеров и 3 сотрудников зоопарка. Есть два способа уменьшить количество используемых машин
1) Чтобы сохранить...
1623 просмотров
schedule
25.05.2022
Могу ли я игнорировать org.apache.kafka.common.errors.NotLeaderForPartitionExceptions?
Мой производитель Apache Kafka (0.9.0.1) периодически бросает
org.apache.kafka.common.errors.NotLeaderForPartitionException
Мой код, который выполняет отправку Kafka, похож на этот
final Future<RecordMetadata> futureRecordMetadata =...
8633 просмотров
schedule
07.03.2023
Пакет Kafka OSGI - проблема инициализации производителя не может инициализировать класс org.apache.kafka.clients.producer.ProducerConfig
Я пытаюсь создать Kafka Producer в karaf 4.0.3.
ClassLoader currentLoader;
try{
currentLoader = Thread.currentThread().getContextClassLoader();
Thread.currentThread().setContextClassLoader(null);
Properties props = new Properties();...
916 просмотров
schedule
18.11.2022
Сохраняет ли Apache Kafka сообщения внутри HDFS или какой-либо другой файловой системы
У нас есть проектное требование по тестированию данных на Kafka Layer. Таким образом, файлы JSON перемещаются в область Hadoop, а kafka считывает данные в реальном времени в Hadoop (необработанный файл Json). Теперь мне нужно проверить, должны ли...
8012 просмотров
schedule
23.10.2022
Метод опроса () Kafka Consumer блокируется
Я новичок в Kafka 0.9 и, тестируя некоторые функции, заметил странное поведение в Java, реализованном Consumer ( KafkaConsumer ).
Брокер Kafka находится на внешнем компьютере Ambari .
Даже если бы я мог реализовать производителя и начать...
8738 просмотров
schedule
20.04.2023
Отличие кафки 0.8 от кафки 0.10
Может ли кто-нибудь перечислить основные отличительные черты Kafka 0.10 по сравнению с kafka 0.8.
Мы думаем обновить нашу кафку-8 до кафки-10. С какими трудностями можно столкнуться при обновлении?
Заранее спасибо.
5278 просмотров
schedule
31.01.2023
ошибка kafka: запрос смещения X, но у нас есть только сегменты журнала в диапазоне от Y до Z
У меня был рабочий экземпляр kafka, но теперь он выдает тысячи ошибок, которые выглядят так:
[2016-06-24 01:33:28,092] ОШИБКА [Диспетчер реплик на брокере 0]: ошибка при обработке запроса на выборку для раздела [test-topic,0] смещения 45 от...
734 просмотров
schedule
09.05.2024
