Ускорение удаления старых записей с тем же ключом (тема с уплотненным журналом)

Я использую брокер Kafka (версия 2.12) с настройками сервера по умолчанию на моем Mac. Я создал сжатую тему журнала со следующей конфигурацией -

Configs: cleanup.policy=compact,segment.bytes=1073741824,delete.retention.ms=100,segment.ms=100

Я создал три записи с одинаковым ключом / значением. Через 5 мин (log.retention.check.interval.ms = 300000) я прочитал тему с начала. В теме вижу следующие три записи. Я ожидал 1 запись.

key1:aaa
key1:aaa
key1:aaa

Через 10 минут я создал запись с тем же ключом, другим значением (ключ1: bbb). Затем, через 5 минут, чтение темы с начала приводит к следующим двум записям. Я ожидал 1 запись (key1: bbb).

key1:aaa
key1:bbb

Есть ли какие-то дополнительные настройки темы, которые мне нужно установить? Любая помощь или указатели будут очень признательны.


person Ahmed A    schedule 21.08.2020    source источник
comment
Мой ответ в другом сообщении может ответить на ваш вопрос: stackoverflow.com/questions/61430509/   -  person mike    schedule 22.08.2020
comment
@mike Большое спасибо за ссылку, очень хорошее и подробное объяснение.   -  person Ahmed A    schedule 22.08.2020
comment
Рад, что помог. Если он ответил на ваш вопрос, вы можете проголосовать за мой ответ и закрыть этот вопрос как повторяющийся. В противном случае дайте нам знать, если что-то по-прежнему неясно.   -  person mike    schedule 22.08.2020