Лидер недоступен Kafka в Console Producer

Это может быть связано с настройкой advertised.host.name в вашем server.properties.

Что может случиться, так это то, что ваш продюсер пытается выяснить, кто является лидером для данного раздела, вычисляет его advertised.host.name и advertised.port и пытается подключиться. Если эти параметры настроены неправильно, может показаться, что лидер недоступен.

Я испробовал все рекомендации, перечисленные здесь. Что сработало для меня, так это перейти к server.properties и добавить:

port = 9092
advertised.host.name = localhost 

Оставьте listeners и advertised_listeners закомментированными.

Что решило это для меня, так это настроить слушателей следующим образом:

advertised.listeners = PLAINTEXT://my.public.ip:9092
listeners = PLAINTEXT://0.0.0.0:9092

Это заставляет брокера KAFKA прослушивать все интерфейсы.

Я был свидетелем этой же проблемы в течение последних 2 недель, работая с Kafka, и с тех пор читаю этот пост в Stackoverflow.

После 2 недель анализа я пришел к выводу, что в моем случае это происходит при попытке создать сообщения для темы, которой не существует.

В моем случае результат таков: Kafka отправляет сообщение об ошибке, но в то же время создает тему, которой раньше не было. Поэтому, если я попытаюсь снова отправить какое-либо сообщение в эту тему после этого события, ошибка больше не будет отображаться в качестве созданной темы.

ПОЖАЛУЙСТА, ОБРАТИТЕ ВНИМАНИЕ: возможно, что моя конкретная установка Kafka была настроена на автоматическое создание темы, когда она не существует; это должно объяснить, почему в моем случае я вижу проблему только один раз для каждой темы после сброса тем: ваша конфигурация может быть другой, и в этом случае вы будете получать одну и ту же ошибку снова и снова.

С уважением,

Лука Тампеллини

У меня была запущена kafka как контейнер Docker, и похожие сообщения хлынули в журнал.
И KAFKA_ADVERTISED_HOST_NAME был установлен на «kafka».

В моем случае причиной ошибки была отсутствующая запись /etc/hosts для 'kafka' в самом контейнере 'kafka'.
Так, например, запуск ping kafka внутри контейнера 'kafka' завершится ошибкой с ping: bad address 'kafka'

С точки зрения Docker эта проблема решается указанием hostname для контейнера.

Варианты достижения этого:

• docker run --hostname ...
• docker run -it --add-host ...
• hostname в docker-compose
• hostname в определении задачи AWS EC2

Я использую kafka_2.12-0.10.2.1:

vi config/server.properties

добавить строку ниже:

listeners=PLAINTEXT://localhost:9092

• Нет необходимости изменять рекламируемые прослушиватели, поскольку они получают значение из свойства std listener.

Имя хоста и порт, которые брокер будет рекламировать производителям и потребителям. Если не установлен,

• он использует значение для "слушателей", если настроено

В противном случае будет использоваться значение, возвращенное из java.net.InetAddress.getCanonicalHostName().

остановить брокера Kafka:

bin/kafka-server-stop.sh

перезапустить брокера:

bin/kafka-server-start.sh -daemon config/server.properties

и теперь вы не должны видеть никаких проблем.

Мы часто получаем это сообщение, когда пытаемся подписаться на тему, которая еще не была создана. Обычно мы полагаемся на то, что темы будут созданы априори в наших развернутых средах, но у нас есть тесты компонентов, которые запускаются против докеризованного экземпляра kafka, который каждый раз запускается с чистого листа.

В этом случае мы используем AdminUtils. в нашей тестовой настройке, чтобы проверить, существует ли тема, и создать ее, если нет. См. Это другое переполнение стека для получения дополнительных сведений о настройке AdminUtils.

Другая возможность для этого предупреждения (в 0.10.2.1) заключается в том, что вы пытаетесь опросить по теме, которая была только что создана, а лидер для этого раздела тем еще не доступен, вы находитесь в середине выборов руководства.

Временное решение - подождать секунду между созданием темы и опросом.

Для всех, кто пытается запустить kafka на кубернетах и ​​сталкивается с этой ошибкой, вот что окончательно решило ее для меня:

Вам необходимо либо:

1. Добавьте hostname в спецификацию модуля, чтобы kafka могла найти себя.

or

2. Если вы используете hostPort, то вам нужны hostNetwork: true и dnsPolicy: ClusterFirstWithHostNet

Причина этого в том, что Kafka нужно разговаривать с самим собой, и он решает использовать «объявленное» имя прослушивателя / хоста, чтобы найти себя, а не использовать localhost. Даже если у вас есть служба, которая указывает объявленное имя хоста на модуль, оно не отображается изнутри модуля. Я действительно не знаю, почему это так, но, по крайней мере, есть обходной путь.

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: zookeeper-cluster1
  namespace: default
  labels:
    app: zookeeper-cluster1
spec:
  replicas: 1
  selector:
    matchLabels:
      app: zookeeper-cluster1
  template:
    metadata:
      labels:
        name: zookeeper-cluster1
        app: zookeeper-cluster1
    spec:
      hostname: zookeeper-cluster1
      containers:
      - name: zookeeper-cluster1
        image: wurstmeister/zookeeper:latest
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 2181
        - containerPort: 2888
        - containerPort: 3888

---

apiVersion: v1
kind: Service
metadata:
  name: zookeeper-cluster1
  namespace: default
  labels:
    app: zookeeper-cluster1
spec:
  type: NodePort
  selector:
    app: zookeeper-cluster1
  ports:
  - name: zookeeper-cluster1
    protocol: TCP
    port: 2181
    targetPort: 2181
  - name: zookeeper-follower-cluster1
    protocol: TCP
    port: 2888
    targetPort: 2888
  - name: zookeeper-leader-cluster1
    protocol: TCP
    port: 3888
    targetPort: 3888

---

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: kafka-cluster
  namespace: default
  labels:
    app: kafka-cluster
spec:
  replicas: 1
  selector:
    matchLabels:
      app: kafka-cluster
  template:
    metadata:
      labels:
        name: kafka-cluster
        app: kafka-cluster
    spec:
      hostname: kafka-cluster
      containers:
      - name: kafka-cluster
        image: wurstmeister/kafka:latest
        imagePullPolicy: IfNotPresent
        env:
        - name: KAFKA_ADVERTISED_LISTENERS
          value: PLAINTEXT://kafka-cluster:9092
        - name: KAFKA_ZOOKEEPER_CONNECT
          value: zookeeper-cluster1:2181
        ports:
        - containerPort: 9092

---

apiVersion: v1
kind: Service
metadata:
  name: kafka-cluster
  namespace: default
  labels:
    app: kafka-cluster
spec:
  type: NodePort
  selector:
    app: kafka-cluster
  ports:
  - name: kafka-cluster
    protocol: TCP
    port: 9092
    targetPort: 9092

В моем случае он работал нормально дома, но не работал в офисе, когда я подключаюсь к офисной сети.

Итак, изменил config / server.properties listeners = PLAINTEXT: //: 9092 на listeners = PLAINTEXT: // localhost: 9092

В моем случае при описании группы потребителей я получал

Добавление этого, так как это может помочь другим. Распространенной проблемой может быть неправильная конфигурация advertised.host.name. Если Docker использует установку docker-compose, имя службы внутри KAFKA_ADVERTISED_HOST_NAME не будет работать, если вы также не зададите имя хоста. docker-compose.yml пример:

  kafka:
    image: wurstmeister/kafka
    ports:
      - "9092:9092"
    hostname: kafka
    environment:
      KAFKA_ADVERTISED_HOST_NAME: kafka
      KAFKA_CREATE_TOPICS: "test:1:1"
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock

Вышеупомянутое без hostname: kafka может выдать LEADER_NOT_AVAILABLE при попытке подключения. Вы можете найти пример работающей docker-compose конфигурации здесь

Если вы используете kafka на локальном компьютере, попробуйте обновить $ KAFKA_DIR / config / server.properties с помощью строки ниже: listeners=PLAINTEXT://localhost:9092, а затем перезапустите kafka.

Я использую docker-compose для создания контейнера Kafka с использованием образа wurstmeister/kafka. Добавление свойства KAFKA_ADVERTISED_PORT: 9092 в мой docker-compose файл решило эту ошибку для меня.

Поскольку я хотел, чтобы мой брокер kafka соединялся с удаленными производителями и потребителями, я не хочу, чтобы advertised.listener был закомментирован. В моем случае (запуск kafka на кубернетах) я обнаружил, что моему модулю kafka не назначен IP-адрес кластера. Удалив строку clusterIP: None из services.yml, кубернет назначает внутренний IP-адрес модулю kafka. Это решило мою проблему с LEADER_NOT_AVAILABLE, а также удаленное подключение производителей / потребителей kafka.

Когда возникает ошибка LEADER_NOT_AVAILABLE, просто перезапустите брокер kafka:

/bin/kafka-server-stop.sh

с последующим

/bin/kafka-server-start.sh config/server.properties

(Примечание: к этому времени Zookeeper должен быть запущен, иначе он не сработает)

Эта строка ниже, которую я добавил в config/server.properties, решила мою проблему, аналогичную описанной выше. Надеюсь, это поможет, это довольно хорошо документировано в файле server.properties, попробуйте прочитать и понять, прежде чем изменять это. advertised.listeners=PLAINTEXT://<your_kafka_server_ip>:9092

Если вы получаете повторяющиеся сообщения об ошибках, подобные этому:

Error while fetching metadata with correlation id 3991 : {your.topic=LEADER_NOT_AVAILABLE}

Or

Discovered group coordinator 172.25.1.2:9092 (id: 2147483645 rack: null) (org.apache.kafka.clients.consumer.internals.AbstractCoordinator:677)
(Re-)joining group (org.apache.kafka.clients.consumer.internals.AbstractCoordinator:509)
Group coordinator 172.25.1.2:9092 (id: 2147483645 rack: null) is unavailable or invalid, will attempt rediscovery (org.apache.kafka.clients.consumer.internals.AbstractCoordinator:729)
Discovered group coordinator 172.25.40.219:9092 (id: 2147483645 rack: null) (org.apache.kafka.clients.consumer.internals.AbstractCoordinator:677)
Group coordinator 172.25.1.2:9092 (id: 2147483645 rack: null) is unavailable or invalid, will attempt rediscovery (org.apache.kafka.clients.consumer.internals.AbstractCoordinator:729)

Затем вам нужно настроить параметры прослушивателя следующим образом в файле kafka server.properties:

 listeners=PLAINTEXT://your.server.ip:9092

Это решение, опробованное на Apacke Kafka 2.5.0 и объединенной платформе 5.4.1.

Для всех, кто борется с настройкой SSL Kafka и видит эту ошибку LEADER_NOT_AVAILABLE. Одной из причин, по которой может произойти сбой, является хранилище ключей и хранилище доверенных сертификатов. В хранилище ключей должен быть закрытый ключ сервера + подписанный сертификат сервера. В клиентском хранилище доверенных сертификатов вам необходимо иметь промежуточный сертификат CA, чтобы клиент мог аутентифицировать сервер kafka. Если вы будете использовать ssl для связи между брокерами, вам нужно, чтобы это хранилище доверенных сертификатов также было установлено в server.properties брокеров, чтобы они могли аутентифицировать друг друга.

Последний фрагмент, который я по ошибке пропустил, заставил меня утомиться, пытаясь понять, что может означать эта ошибка LEADER_NOT_AVAILABLE. Надеюсь, это кому-нибудь поможет.

Проблема решена после добавления настройки прослушивателя в файл server.properties, расположенный в каталоге config. listeners = PLAINTEXT: // localhost (или ваш сервер): 9092 Перезапустите kafka после этого изменения. Используемая версия 2.11

Для меня я не указывал идентификатор брокера для экземпляра Kafka. Иногда он получает новый идентификатор от zookeeper при перезапуске в среде Docker. Если ваш идентификатор брокера больше 1000, просто укажите переменную среды KAFKA_BROKER_ID.

Используйте это, чтобы увидеть брокеров, темы и разделы.

brew install kafkacat
kafkacat -b [kafka_ip]:[kafka_poot] -L

Для меня это произошло из-за неправильной конфигурации порта Docker (9093)
командного порта Kafka "bin / kafka-console-producer.sh --broker-list localhost: 9092 --topic TopicName "- я проверил свою конфигурацию на соответствие порту, и теперь все в порядке.

Для меня причиной было использование определенного Zookeeper, не входящего в пакет Kafka. Этот Zookeeper уже был установлен на машине для других целей. Видимо Kafka не работает ни с одним Zookeeper. Переход на Zookeeper, поставляемый с Kafka, решил эту проблему для меня. Чтобы не конфликтовать с существующим Zookeeper, мне пришлось изменить мою конфигурацию, чтобы Zookeeper прослушивал другой порт:

[root@host /opt/kafka/config]# grep 2182 *
server.properties:zookeeper.connect=localhost:2182
zookeeper.properties:clientPort=2182

Рекламируемые слушатели, упомянутые в ответах выше, могут быть одной из причин. Другие возможные причины:

1. Тема могла не быть создана. Вы можете проверить это с помощью bin/kafka-topics --list --zookeeper <zookeeper_ip>:<zookeeper_port>
2. Проверьте свои серверы начальной загрузки, которые вы передали производителю, чтобы получить метаданные. Если сервер начальной загрузки не содержит последних метаданных по теме (например, когда он потерял свое заявление zookeeper). Вы должны добавить более одного сервера начальной загрузки.

Кроме того, убедитесь, что для рекламируемого прослушивателя установлено значение IP:9092 вместо localhost:9092. Последнее означает, что брокер доступен только через localhost.

Когда я столкнулся с ошибкой, я вспомнил, что использовал PLAINTEXT://<ip>:<PORT> в списке серверов начальной загрузки (или списке брокеров), и это сработало, как ни странно.

bin/kafka-console-producer --topic sample --broker-list PLAINTEXT://<IP>:<PORT>

Я знаю, что это было опубликовано много лет назад, и я хотел бы рассказать, как я решил эту проблему.
поскольку у меня есть офисный ноутбук (были настроены VPN и прокси).
я проверил переменную среды NO_PROXY

> echo %NO_PROXY%

он вернулся с пустыми значениями
теперь я установил NO_PROXY с localhost и 127.0.0.1

> set NO_PROXY=127.0.0.1,localhost  

если вы хотите добавить к существующим значениям, тогда

> set NO_PROXY=%NO_PROXY%,127.0.0.1,localhost  

после этого я перезапустил zookeeper и kafka
работал как шарм

Попробуйте это listeners = PLAINTEXT: // localhost: 9092 Это должно быть полезно

Большое спасибо