Как KSQL читает (использует msgs) данные из темы, уже содержащей некоторые сообщения

Я создал поток из Kafka, используя KSQL для темы Kafka, которая уже содержит некоторые сообщения. Но не получает сообщений из этой темы в созданный поток. Сообщения имеют формат Avro и генерируются через некоторый промежуток времени.

Я хочу читать с самого начала, т.е. с самого раннего сообщения. Также попытался установить свойство смещения на самое раннее, но не получил сообщения.

create stream sample_transition with(topic_name='transition',value_format='avro');


apache-kafka confluent-platform ksqldb
person Ritu    schedule 15.10.2018    source источник
comment
Получаете ли вы какие-либо данные при запуске этой команды в консоли: kafka-console-consumer.sh --bootstrap-server localhost: 9092 --topic TOPIC-NAME --from-begin   -  person Afee    schedule 15.10.2018
comment
@Ritu: Было бы лучше, если бы вы могли поделиться своим запросом потока KSQL и деталями темы.   -  person Mehul Gupta    schedule 15.10.2018
comment
@MehulGupta: название темы - переход, поток - создать поток sample_transition с помощью (topic_name = 'transition', value_format = 'avro');   -  person Ritu    schedule 15.10.2018
comment
@Ritu: Я пробовал это несколько раз, все работает нормально. Я бы посоветовал проверить детали еще раз, это может быть небольшая ошибка, которая вызвала это.   -  person Mehul Gupta    schedule 15.10.2018

Ответы (1)


arrow_upward
0
arrow_downward

Вам необходимо правильно установить auto.offset.reset конфигурацию. По умолчанию это "последний". Если вы хотите, чтобы новый запрашиваемый читал все данные из темы, вам необходимо установить для него значение «самый ранний».

ksql> SET 'auto.offset.reset'='earliest';

Сравните: https://docs.confluent.io/current/ksql/docs/installation/server-config/config-reference.html#ksql-streams-auto-offset-reset

person Matthias J. Sax    schedule 16.10.2018
comment
Кажется, Риту уже пробовала этот вариант. Она столкнулась с другой проблемой - person Mehul Gupta; 16.10.2018