Spring Boot подключается к Alibaba e-mapreduce kafka

Я пытаюсь подключить приложение spring boot kafka к kafka в облаке alibaba.
Облако находится на e -mapreduce service.
Однако я не могу подключиться при загрузке, возможно, из-за каких-то учетных данных безопасности, которые мне нужно предоставить?
Я уже пытался установить следующие свойства загрузки:

spring.kafka.properties.security.protocol=SSL

Получите сообщение об ошибке: Соединение с узлом -1 (/xx.xx.xx.xx:9092) прервано во время аутентификации. Это может произойти по любой из следующих причин: (1) сбой аутентификации из-за недействительных учетных данных с брокерами старше 1.0.0, (2) брандмауэр блокирует трафик Kafka TLS (например, он может разрешать только трафик HTTPS), (3) временный проблема с сетью.

spring.kafka.properties.security.protocol=SASL_SSL

Выдает Вызвано: java.lang.IllegalArgumentException: не удалось найти запись KafkaClient в конфигурации JAAS. Системное свойство java.security.auth.login.config не задано

У кого-нибудь есть опыт подключения к кафке на облаке алибаба?


person Timothy    schedule 02.03.2020    source источник


Ответы (1)


Я считаю, что Kafka Connect может решить ваши проблемы с подключением приложения весенней загрузки kafka к kafka в облаке Alibaba:

Шаг 1. Создание кластеров Kafka Создайте исходный кластер Kafka и целевой кластер Kafka в E-MapReduce.

Шаг 2. Создайте тему для хранения переносимых данных. Создайте тему с именем connect в исходном кластере Kafka.

Шаг 3. Создайте соединитель Kafka Connect. Используйте Secure Shell (SSH) для входа в узел заголовка исходного кластера Kafka. Необязательно: Настройте конфигурацию Kafka Connect.

Шаг 4. Просмотр состояния соединителя Kafka Connect и узла задач Просмотрите состояние соединителя Kafka Connect и узла задач и убедитесь, что они находятся в нормальном состоянии.

Выполните другие шаги в соответствии с вашими рабочими потребностями.

Подробные инструкции можно найти в разделе Использование Kafka Connect для переноса ссылки на данные: https://www.alibabacloud.com/help/doc-detail/127685.htm

Надеюсь, что это поможет вам,

person Milos Basaraba    schedule 02.06.2020