Как получить доступ / прочитать данные темы кафки из flink?

Я пытаюсь прочитать данные kafka из flink, и, поскольку я новичок в kafka и flink, я не знаю, как их подключить.


apache-kafka-connect apache-flink
person Prajakta Kulkarni    schedule 01.02.2017    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Flink предоставляет коннектор Kafka. Чтобы читать данные из тем Kafka, сначала вам нужно добавить зависимость коннектора Flink -Kafka.

<dependency>
   <groupId>org.apache.flink</groupId>
   <artifactId>flink-connector-kafka-0.8_2.10</artifactId>
   <version>1.1.3</version>
</dependency>

Затем вы просто вызываете среду выполнения Streaming и добавляете исходный код Kafka. Вот образец

Properties properties = new Properties();
properties.setProperty("bootstrap.servers", "localhost:9092");
properties.setProperty("zookeeper.connect", "localhost:2181");  
properties.setProperty("group.id", "test");
DataStream<String> stream = env
 .addSource(new FlinkKafkaConsumer08<>("topic", new SimpleStringSchema(),properties))
.print();

Вот и все. У вас все готово для использования данных из темы Kafka.

Полный код доступен для загрузки по адресу ссылка

person Tanmay Deshpande    schedule 01.02.2017