Вопросы по теме 'apache-kafka-connect'
Ошибка при записи в HDFS с помощью Kafka HDFS Connect
Я пытаюсь записать данные в формате avro из моего кода Java в Kafka в HDFS с помощью соединителя kafka HDFS , и у меня возникают некоторые проблемы. Когда я использую простую схему и данные, представленные на веб-сайте объединенной платформы, я могу...
749 просмотров
schedule
30.08.2022
Соединитель Kafka HDFS - без полного слияния
У меня есть работающий экземпляр Kafka 0.10, и в настоящее время я использую Gobblin для хранения данных в HDFS. Я хочу переключиться на Kafka Connect, и в процессе исследования я обнаружил, что Confluent предоставляет соединитель.
Однако есть ли...
642 просмотров
schedule
27.06.2023
Kafka Connect не выводит JSON
Я использую JDBC Kafka Connector для чтения данных из базы данных в Kafka. Это работает, но всегда выводит данные в формате Avro, хотя я указал, что он должен использовать JSON. Я знаю, что он делает это, потому что, когда я использую сообщения из...
3987 просмотров
schedule
24.06.2023
Kafka-Connect против Filebeat и Logstash
Я хочу использовать Kafka и сохранять данные в Hadoop и Elasticsearch. В настоящее время я видел 2 способа сделать это: использовать Filebeat для использования из Kafka и отправить его в ES и использовать структуру Kafka-Connect. Есть модуль...
6103 просмотров
schedule
11.04.2023
Заказ сообщений Kafka Connect
Как коннектор Kafka Sink обеспечивает упорядочение сообщений при получении сообщений из разделов. У меня несколько разделов, и я обеспечил порядок сообщений при публикации сообщений с хеш-ключами для каждого раздела. Теперь, когда несколько задач...
1089 просмотров
schedule
26.09.2022
Почему метаданные добавляются к выходным данным этого коннектора Kafka?
У меня есть соединитель Kafka со следующим кодом для метода poll() в реализации SourceTask.
@Override
public List<SourceRecord> poll() throws InterruptedException
{
SomeType item = mQueue.take();
List<SourceRecord> records =...
596 просмотров
schedule
19.03.2023
Почему распределенный соединитель Kafka умирает, когда блокируется узел, на котором я его создал?
Я запускаю коннектор Kafka в распределенном режиме в локальном «запускающем» контейнере Docker (отдельно от контейнера узла Kafka). Коннектор работает как положено, но когда я убиваю пусковой контейнер, коннектор перестает работать. Я ожидал, что он...
1993 просмотров
schedule
02.03.2024
Соединитель Kafka - не может остановить перебалансировку
Я использую коннектор kafka confluent версии 3.0.1. Я создаю новую группу с именем new-group , и в ней около 20 тем. Большинство этих тем занято. Но жаль, что когда Запускаю коннектор фреймворк, система не может перебалансировать, около 2х минут...
3519 просмотров
schedule
01.05.2023
Kafka Connect не хватает места в куче
После запуска Kafka Connect ( connect-standalone ) моя задача завершается с ошибкой сразу после запуска:
java.lang.OutOfMemoryError: Java heap space
at java.nio.HeapByteBuffer.<init>(HeapByteBuffer.java:57)
at...
48444 просмотров
schedule
08.07.2022
Как получить доступ / прочитать данные темы кафки из flink?
Я пытаюсь прочитать данные kafka из flink, и, поскольку я новичок в kafka и flink, я не знаю, как их подключить.
496 просмотров
schedule
21.02.2023
Как использовать Kafka Connect для Cassandra без Confluent
Как мы можем использовать Kafka Connect с Cassandra без использования фреймворков Confluent.
6354 просмотров
schedule
22.04.2023
Стримы Kafka - первый пример WordCount неправильно считает первый круг
Я изучаю Kafka Streams, и у меня проблема с первым примером WordCount в Java 8, взятым из документации.
Использование последних доступных версий потоков kafka, пример лямбда-выражений Kafka Connect и WordCount.
Я выполняю следующие шаги: создаю...
944 просмотров
schedule
03.03.2023
Потоковая передача данных из Oracle 11g в Kafka
Я ищу решение для потоковой передачи данных из Oracle 11g в Kafka. Я надеялся использовать GoldenGate, но, похоже, он доступен только для Oracle 12c. Является ли платформа Confluent лучшим выбором?
Спасибо!
1338 просмотров
schedule
31.08.2023
Коннектор Kafka Confluent S3 Не удалось найти класс
Я пробую простой пример быстрого запуска и получаю:
Вызвано: org.apache.kafka.connect.errors.ConnectException: не удалось найти какой-либо класс, реализующий Connector и имя которого соответствует io.confluent.connect.s3.S3SinkConnector,...
1775 просмотров
schedule
29.03.2023
Сложная или вложенная json/схема, поддерживаемая слитным Kafka Connect
Только возможность вставки простых объектов в базу данных с помощью Confluent Kafka Connect. Не уверен, как сделать эту поддержку сложной структуры json/schema. Я не уверен, доступна ли эта функция или нет. Аналогичный вопрос здесь задавал около...
2943 просмотров
schedule
22.12.2022
Подключить клиент JMS к Apache Kafka
У меня есть сторонняя система, перекачивающая данные в HornetQ с помощью JMS. Мне нужно заменить HornetQ на Kafka, но я не могу изменить стороннюю систему. Как правильно получить данные в kafka.
Я погуглил и нашел JMS-Client и kafka connect ....
1793 просмотров
schedule
27.01.2023
Kafka connect (автономная) запись данных в несколько разделов
Я пытаюсь использовать Kafka connect для записи данных в автономном режиме. Тема, в которую я пишу данные, имеет несколько разделов. Однако данные записываются только в один из разделов. Когда я запускаю несколько потребительских консолей, данные...
1786 просмотров
schedule
02.04.2024
Мой коннектор раковины Kafka для Neo4j не загружается
Введение:
Позвольте мне начать с извинений за неопределенность в моем вопросе. Я постараюсь предоставить как можно больше информации по этой теме (надеюсь, не слишком много), и, пожалуйста, дайте мне знать, если я должен предоставить больше....
547 просмотров
schedule
18.01.2022
Поля типа номера Kafka Connect
Когда я хочу использовать Kafka для подключения к исходной СУБД, которая является Oracle, поля числового типа отображаются как байты, как показано ниже,
Столбец «ID» со значением «4» в качестве номера был отправлен, но в консоли потребителя это...
986 просмотров
schedule
24.03.2022
Как отправлять непрерывные потоковые данные HTTP в kafka?
У нас есть система (пример системы A), которая отправляет данные временных рядов через HTTP.
Теперь я хотел бы ввести Apache Kafka в систему.
Идея для меня состояла бы в том, чтобы запустить сервер Kafka, где система A, как только получает...
4549 просмотров
schedule
29.11.2022
