Вопросы по теме 'kafka-consumer-api'
Потребитель не находит сообщений, пока я не приостановлю выполнение в отладчике
Я использую потребителя высокого уровня kafka. Когда я запускаю потребителя, он находит все новые сообщения. Он находит новые сообщения по мере их создания с помощью производителя Java kafka. Однако через минуту он продолжает зацикливаться, но не...
314 просмотров
schedule
16.04.2023
Можно ли читать из нескольких разделов с помощью Kafka Simple Consumer?
Можно ли читать из нескольких разделов с помощью Kafka Simple Consumer? Simple Consumer использует раздел в следующих случаях:
PartitionMetadata metadata = findLeader(brokers, port, topic, partition);
SimpleConsumer consumer = new...
10128 просмотров
schedule
05.10.2023
Ошибка при создании темы Kafka: коэффициент репликации больше, чем у доступных брокеров.
Я пытаюсь создать тему kafka через AdminCommand, используя приведенный ниже код Источник
ZkClient zkClient = new ZkClient(kafkaHost, 10000, 10000, ZKStringSerializer$.MODULE$);
AdminUtils.createTopic(zkClient,...
36633 просмотров
schedule
29.04.2023
Настройте kafka-net, чтобы прекратить отправку последних сообщений
Я использую kafka 0.8.1.1 на виртуальной машине Red Hat с плагином kafka-net. Как я могу настроить своего потребителя, чтобы он перестал получать более ранние сообщения от kafka?
Мой потребительский код:
var options = new KafkaOptions(new...
4079 просмотров
schedule
03.05.2024
Кафка внезапно сбросил смещение потребителя
Я работаю с Kafka 0.8 и zookeeper 3.3.5. На самом деле у нас есть дюжина тем, которые мы просматриваем без каких-либо проблем.
Недавно мы начали кормить и потреблять новую тему со странным поведением. Израсходованное смещение было внезапно...
11692 просмотров
schedule
22.08.2022
Путь Kafka Consumer не должен заканчиваться символом /
Я использую Apache Kafka 0.8.2.1 для потоковой передачи веб-событий в другие источники данных. Kafka Producer, который я написал, отлично работает, и я могу видеть, как данные проходят через мою тему, когда я запускаю kafka-console-consumer.sh. Тем...
1273 просмотров
schedule
14.04.2023
Как добиться одновременно распределенной обработки и высокой доступности в Kafka?
У меня есть тема, состоящая из n разделов. Чтобы иметь распределенную обработку, я создаю два процесса, работающих на разных машинах. Они подписываются на тему с одинаковым групповым идентификатором и выделяют n/2 потока, каждый из которых...
932 просмотров
schedule
08.01.2023
Apache Kafka Consumer иногда не пишет в консоль в Windows 7: невозможно записать стандартный выход, закрытие потребителя.
Apache Kafka Consumer возвращает сообщение «Невозможно записать на стандартный выход, закрытие потребителя». в Windows 7 в некоторых случаях. Он отлично работает для одних и тех же сообщений в Linux и Windows 8 и для других более коротких сообщений...
1411 просмотров
schedule
07.01.2023
kafka spout не передает данные
Я пытаюсь интегрировать Kafka со storm. Я использую Kafka Spout для извлечения данных из тем Kafka и подачи их в штормовые болты для дальнейшей обработки. Я могу успешно отправить топологию, но носик не передает никаких данных. Это также не выдает...
892 просмотров
schedule
27.09.2022
Kafka Messages — производитель и клиент-потребитель на Java
Заранее благодарны за Вашу помощь.
Я хочу отправлять и получать сообщения в следующем формате в брокере Kafka.
<header>
<version></version>
<id></id>
</header>
<detail>...
342 просмотров
schedule
21.08.2022
Получение сообщений от Kafka до двух пунктов назначения
Я могу получать сообщения kafka и вставлять их в hdfs. Я хотел бы получить такой же набор сообщений с помощью инструмента бизнес-аналитики.
Есть ли способ это сделать? Мне нужно создать 2 потребителей? или 2 группы потребителей?
Добрый совет....
96 просмотров
schedule
18.08.2023
Простой пример Kafka Consumer не работает
У меня есть простой класс для приема сообщений с сервера kafka. Большинство кодов скопировано из комментариев org.apache.kafka.clients.consumer.KafkaConsumer.java.
public class Demo {
public static void main(String[] args) {...
33258 просмотров
schedule
24.01.2023
Как сохранить последнее смещение, которое Spark использовал в ZK или Kafka и которое может считывать после перезапуска
Я использую Kafka 0.8.2 для получения данных от AdExchange, а затем использую Spark Streaming 1.4.1 для хранения данных в MongoDB .
Моя проблема в том, что когда я перезапускаю свою Spark Streaming работу, например, например, обновляю новую...
15584 просмотров
schedule
19.04.2024
как получить доступ и зафиксировать смещения в теме __consumer_offsets кафки?
Согласно документам Kafka
Когда диспетчер смещения получает OffsetCommitRequest, он добавляет запрос в специальную сжатую тему Kafka с именем __consumer_offsets.
Возможно ли, что мы можем получить к нему доступ напрямую программно?...
3236 просмотров
schedule
30.05.2022
Кафка читается с синхронной репликацией
Я новичок в Kafka и читаю о синхронной репликации в Kafka здесь Меня удивил следующий абзац:
«Для простоты чтения всегда обслуживаются от лидера. Читателю доступны только сообщения до HW».
Кто-нибудь знает, означает ли это, что невозможно...
526 просмотров
schedule
23.05.2023
Kafka - Ребалансировка разделов и согласованность данных
Я использую Kafka 0.8.1. Я использую Kafka для распределения наших событий по нашему кластеру обработки. Я использую 1 тему с несколькими разделами. Меня беспокоит процесс ребалансировки Kafka. В настоящее время наша логика обработки выполняется...
435 просмотров
schedule
03.12.2022
Кафка как читать из темы __consumer_offsets
Я пытаюсь выяснить, от каких компенсаций отрабатывают мои нынешние высокоуровневые потребители. Я использую Kafka 0.8.2.1 с no "offset.storage", установленным в server.properties Kafka, что, как мне кажется, означает, что смещения хранятся в Kafka....
21959 просмотров
schedule
02.12.2022
Проблема потребительского API Kafka Java
Я пытаюсь использовать сообщение с помощью Kafka java API. я могу использовать сообщение, используя kafka-console-consumer.bat. Но не может использовать сообщение от java API. не получая никакой ошибки или любого сообщения. помогите мне, какую...
2009 просмотров
schedule
02.05.2023
Запрос потребителей и разделов Kafka
Я новичок в Kafka и прочитал несколько руководств. Я не мог понять отношения между потребителем и разделом.
Пожалуйста, ответьте на мои вопросы ниже.
Согласно документации, только один потребитель может получать сообщения в группе. Зачем...
807 просмотров
schedule
26.10.2022
Невозможно увидеть сообщения kafka, созданные из Java API, в потребительской консоли.
Я пытался создать несколько сообщений и поместить их в тему, а затем получить то же самое от пользователя консоли.
Используемый код:
import java.util.Date;
import java.util.Properties;
import kafka.javaapi.producer.Producer;
import...
850 просмотров
schedule
09.08.2022
