python-kafka: может ли потребитель пропускать сообщения на основе атрибутов сообщения?

Дан набор сообщений, каждое из которых имеет атрибут приоритета. Может ли потребитель пропускать или игнорировать сообщения, атрибут приоритета которых недостаточно высок?

Сначала я десериализовал сообщения, потребляемые потребителем kafka-python, проверил уровень приоритета и отбросил те сообщения, которые не соответствовали требуемому уровню приоритета.

Но я обеспокоен тем, что если сообщение большое, значительное время будет потрачено впустую на десериализацию сообщений, которые не будут обрабатываться дальше. Нет ли способа сделать это при чтении из очереди кафки?


person user1658296    schedule 10.11.2016    source источник


Ответы (1)


Kafka в настоящее время не поддерживает пользовательские метаданные таким образом, поэтому единственный способ для потребителя отфильтровать определенные сообщения — прочитать полезную нагрузку. Однако обсуждается предложение по улучшению который устранил бы такую ​​ситуацию и, возможно, заслуживал бы внимания.

person Lundahl    schedule 10.11.2016