как получить доступ и зафиксировать смещения в теме __consumer_offsets кафки?

Согласно документам Kafka

Когда диспетчер смещения получает OffsetCommitRequest, он добавляет запрос в специальную сжатую тему Kafka с именем __consumer_offsets.

Возможно ли, что мы можем получить к нему доступ напрямую программно? Используя Kafka Tool 1.0 Beta 2, я могу увидеть тему __consumer_offets и множество разделов в ней, причем только один раздел содержит данные. Не могу понять, как в нем создаются разделы и почему только на одном разделе есть данные.

Теперь также, как я могу сделать коммит на конкретном разделе в этой теме?


person usman    schedule 27.08.2015    source источник


Ответы (1)


Макет и содержимое тем __consumer_offsets - это деталь реализации Kafka, и вам не следует пытаться получить к ней прямой доступ. Вместо этого используйте запросы API ConsumerMetadata, OffsetCommit и OffsetFetch, описанные здесь: https://cwiki.apache.org/confluence/display/KAFKA/A+Guide+To+The+Kafka+Protocol#AGuideToTheKafkaProtocol-OffsetCommit/FetchAPI

person Edenhill    schedule 15.10.2015