Вопросы по теме 'kafka-python'
Потребитель Kafka python читает все сообщения при запуске
Я использую приведенный ниже код для чтения сообщений из темы. Я столкнулся с двумя проблемами. Всякий раз, когда я запускаю потребителя, он читает все сообщения в очереди? Как читать только непрочитанные сообщения?
from kafka import...
8474 просмотров
schedule
23.12.2022
Как использовать кафку на торнадо?
Я пытаюсь создать простое приложение для чата, используя торнадо, на основе этого .
Но также я хочу использовать kafka для хранения сообщений. Как я могу это сделать?
Теперь я использовал это , чтобы создать потребителя, и каким-то образом он...
2299 просмотров
schedule
12.06.2023
kafka-python - Как мне зафиксировать раздел?
Использование кафка-питона-1.0.2.
Если у меня есть тема с 10 разделами, как я могу зафиксировать конкретный раздел, просматривая различные разделы и сообщения. Я просто не могу найти пример этого нигде, в документах или где-то еще
Из документов...
13280 просмотров
schedule
03.07.2023
Сохраняет ли Apache Kafka сообщения внутри HDFS или какой-либо другой файловой системы
У нас есть проектное требование по тестированию данных на Kafka Layer. Таким образом, файлы JSON перемещаются в область Hadoop, а kafka считывает данные в реальном времени в Hadoop (необработанный файл Json). Теперь мне нужно проверить, должны ли...
8012 просмотров
schedule
23.10.2022
Почему возникает задержка между записью в очередь Kafka и чтением из нее?
Я написал рабочую службу для приема сообщений из очереди Kafka, а также написал тестовый скрипт для добавления сообщений в очередь каждые несколько секунд.
Что я заметил, так это то, что часто потребитель простаивает в течение нескольких минут, в...
240 просмотров
schedule
08.06.2023
Kafka Consumer не получал сообщений от своего производителя.
Ниже приведен мой код Python для производителя kafka, я не уверен, могут ли сообщения быть опубликованы для брокера Kafka или нет. Потому что потребительская сторона не получает никаких сообщений. Моя программа Consumer python работает нормально,...
1748 просмотров
schedule
09.05.2024
python-kafka: может ли потребитель пропускать сообщения на основе атрибутов сообщения?
Дан набор сообщений, каждое из которых имеет атрибут приоритета. Может ли потребитель пропускать или игнорировать сообщения, атрибут приоритета которых недостаточно высок?
Сначала я десериализовал сообщения, потребляемые потребителем kafka-python,...
660 просмотров
schedule
19.01.2023
Насколько эффективны сбросы смещения Kafka EARLIEST и Kafka LATEST?
Проблема
Я думаю о реализации бинарного поиска, чтобы найти начальное смещение для воспроизведения событий на основе времени. Для этого я думал об использовании EARLIEST для поиска начального смещения и LATEST для поиска самого последнего...
2707 просмотров
schedule
10.12.2023
Могут ли производители кафки предоставлять данные по квоте при наличии реплик?
У меня есть производитель кафки, принадлежащий клиенту с идентификатором клиента - "p1" и квотой 50 МБ/с.
Теперь я проверил производительность своего производителя с помощью «bin/kafka-producer-perf-test.sh» и смог получить пропускную способность...
68 просмотров
schedule
12.10.2023
Как вручную назначить разделы, сохраняя при этом возможность автоматической фиксации?
Я пытаюсь вручную назначить разделы каждому потребителю в группе потребителей. Однако похоже, что когда вы добавляете потребителей в группу, Kafka (или, по крайней мере, kafka-python) предполагает, что вы хотите, чтобы координатор группы выполнял все...
2047 просмотров
schedule
14.06.2023
Kafka раздел Отставание увеличивается
У меня есть приложение, которое использует Kafka 1.0 в качестве очереди. Тема Kafka имеет 80 разделов и 80 работающих потребителей. (потребители Kafka-python).
Выполнив команду:
./bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092...
10361 просмотров
schedule
22.08.2023
Код KafkaConsumer, завернутый в uwsgi, работающий в Docker, похоже, ничего не делает
Я пытаюсь запустить код KafkaConsumer в uwsgi и в контейнере Docker.
Код работает вне Docker/uwsgi, но после запуска в Docker uwsgi не сообщает об ошибках (но и не лотит ни в stdin/out, ни в лог-файл).
Итак, проблема в том, что этот потребитель...
416 просмотров
schedule
10.09.2023
Ошибка MessageSizeTooLargeError в Apache Kafka
Я изучаю Кафку и при выполнении простого упражнения получил ошибку MessageSizeTooLargeError. Проблема в том, что сообщение, отправляемое производителем потребителю, слишком велико.
Я попытался изменить некоторые параметры в файлах конфигурации, но...
326 просмотров
schedule
13.06.2024
Как возникает пилообразный паттерн потребительского отставания Kafka?
Некоторые из моих потребителей Kafka (но не все) демонстрируют интересную закономерность в отношении их отставания.
На следующем изображении показаны два хороших примера:
темно-синий:
около 200 сообщений в секунду в теме
32...
258 просмотров
schedule
26.12.2022
Как получить ConsumerRecord из KafkaConsumer.poll() в python
Я использовал kafka-python для обработки сообщений в кластере kafka:
потребитель = KafkaConsumer('сеанс', auto_offset_reset='самый ранний']
пока верно:
dict = consumer.poll(500)
for d in dict:
print d.topic, d.partition,...
1940 просмотров
schedule
28.01.2023
Как программно создавать темы с помощью kafka-python?
Я начинаю работать с Kafka и довольно новичок в Python. Я использую эту библиотеку с именем kafka-python для связи с моим Kafka. маклер. Теперь мне нужно динамически создать тему из моего кода, из документов я вижу, что я могу вызвать метод...
1956 просмотров
schedule
19.05.2024
Kafka-python Как использовать сообщение json
Я довольно новичок в Python и начинаю с Kafka. У меня есть требование, когда мне нужно отправлять и использовать сообщения json. Для этого я использую kafka-python для связи с Kafka.
#Producer.py
from kafka import KafkaProducer
import json...
7726 просмотров
schedule
18.04.2024
kafka-python публикует для всех потребителей
Есть ли способ опубликовать сообщение во всех разделах? Я использую kafka-python==1.4.3.
Из документации понял, что
ключ (необязательный) — ключ, который будет связан с сообщением. Может использоваться для определения того, в какой раздел...
70 просмотров
schedule
21.08.2022
Невозможно использовать сообщения с помощью python-kafka
Я пытался воспроизвести шаги, описанные в блоге . . При попытке получить код Python Kafka Consumer и Kafka Producer я могу запустить код в интерактивном терминале Python, а консоль потребителя дает вывод, но если я передам их в файл Python...
835 просмотров
schedule
19.03.2024
Каков наилучший способ регулярного опроса потребителя Kafka при использовании kafka-python?
У меня есть несколько производителей, которые загружают данные в Kafka. Я хочу запускать Consumer каждый час, чтобы сразу получать все накопленные данные и обрабатывать их дальше.
Я подумал о следующих вариантах:
Используйте поток Python и...
1343 просмотров
schedule
08.03.2023
