Kafka SASL zookeeper аутентификация

Я обнаружил проблему, увеличив уровень журнала до DEBUG. В основном следуйте инструкциям ниже. Я не использую SSL, но вы без проблем интегрируете его.

Ниже приведены мои файлы конфигурации:

server.properties

security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=PLAIN
sasl.enabled.mechanisms=PLAIN

authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
allow.everyone.if.no.acl.found=true
auto.create.topics.enable=false
broker.id=0
listeners=SASL_PLAINTEXT://localhost:9092
advertised.listeners=SASL_PLAINTEXT://localhost:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600

advertised.host.name=localhost
num.partitions=1
num.recovery.threads.per.data.dir=1
log.flush.interval.messages=30000000
log.flush.interval.ms=1800000
log.retention.minutes=30
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
delete.topic.enable=true
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=6000
super.users=User:admin

zookeeper.properties

dataDir=/tmp/zookeeper
clientPort=2181
maxClientCnxns=0
authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
requireClientAuthScheme=sasl
jaasLoginRenew=3600000

Producer.properties

security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN
bootstrap.servers=localhost:9092
compression.type=none

consumer.properties

security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=6000
group.id=test-consumer-group

Теперь самые важные файлы для того, чтобы ваш сервер запускался без каких-либо проблем:

zookeeper_jaas.conf

Server {
   org.apache.kafka.common.security.plain.PlainLoginModule required
   username="admin"
   password="admin-secret"
   user_admin="admin-secret";
};

kafka_server_jaas.conf

KafkaServer {
   org.apache.kafka.common.security.plain.PlainLoginModule required
   username="admin"
   password="admin-secret"
   user_admin="admin-secret";
};

Client {
   org.apache.kafka.common.security.plain.PlainLoginModule required
   username="admin"
   password="admin-secret";
};

После выполнения всех этих настроек в первом окне терминала:

Терминал 1 (запуск сервера Zookeeper)

Из корневого каталога kafka

$ export KAFKA_OPTS="-Djava.security.auth.login.config=/home/usename/Documents/kafka_2.11-0.10.1.0/config/zookeeper_jaas.conf"
$ bin/zookeeper-server-start.sh config/zookeeper.properties

Терминал 2 (запуск сервера Kafka)

Из корневого каталога kafka

$ export KAFKA_OPTS="-Djava.security.auth.login.config=/home/usename/Documents/kafka_2.11-0.10.1.0/config/kafka_server_jaas.conf"
$ bin/kafka-server-start.sh config/server.properties

[НАЧАТЬ ОБНОВЛЕНИЕ]

kafka_client_jaas.conf

KafkaClient {
  org.apache.kafka.common.security.plain.PlainLoginModule required
  username="admin"
  password="admin-secret";
};

Терминал 3 (запуск потребителя Kafka)

В клиентском терминале экспортируйте клиентский jaas conf файл и запустите клиента:

$ export KAFKA_OPTS="-Djava.security.auth.login.config=/home/username/Documents/kafka_2.11-0.10.1.0/kafka_client_jaas.conf"
$ ./bin/kafka-console-consumer.sh --new-consumer --zookeeper localhost:2181 --topic test-topic --from-beginning --consumer.config=config/consumer.properties  --bootstrap-server=localhost:9092

Терминал 4 (запуск продюсера Kafka)

Если вы также хотите производить, сделайте это в другом окне терминала:

$ export KAFKA_OPTS="-Djava.security.auth.login.config=/home/username/Documents/kafka_2.11-0.10.1.0/kafka_client_jaas.conf"
$ ./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test-topic --producer.config=config/producer.properties

[КОНЕЦ ОБНОВЛЕНИЯ]

Вам нужно создать файл конфигурации JAAS для Zookeeper и заставить его использовать его.

Создайте файл конфигурации JAAS для Zookeeper с таким содержимым:

Server {
    org.apache.zookeeper.server.auth.DigestLoginModule required
    user_admin="admin-secret";
};

Где пользователь (admin) и пароль (admin-secret) должны совпадать с именем пользователя и паролем, которые у вас есть в разделе «Клиент» конфигурационного файла Kafka JAAS.

Чтобы Zookeeper использовал конфигурационный файл JAAS, передайте Zookeeper следующий флаг JVM, указывающий на файл, созданный ранее.

-Djava.security.auth.login.config=/path/to/server/jaas/file.conf"

Если вы используете Zookeeper, включенный в пакет Kafka, вы можете запустить Zookeeper следующим образом, предполагая, что ваш файл конфигурации Zookeeper JAAS находится в ./config/zookeeper_jaas.conf

EXTRA_ARGS=-Djava.security.auth.login.config=./config/zookeeper_jaas.conf ./bin/zookeeper-server-start.sh ./config/zookeeper.properties