Вопросы по теме 'confluent-schema-registry'
Сообщения Avro со схемой
Поэтому мы планируем использовать Avro для связи в единой экосистеме на основе кафки. Мое текущее понимание Avro состоит в том, что каждое сообщение несет свою схему. Если это так, нам нужен реестр схем только для разрешения обновлений версий?
Я...
489 просмотров
schedule
22.06.2023
Flink с реестром схем Confluent Kafka
Я пытаюсь писать в Confluent kafka с реестром схем из Flink, используя FlinkKafkaProducer10. Ниже выдается ошибка. Я создал настраиваемый сериализатор схемы, см. Класс ConfluentAvroSerializationSchema. Код компилируется, но выдает ошибку времени...
3244 просмотров
schedule
09.04.2024
Следует использовать сервер реестра Kafka Schema.
Когда я использовал сервер реестра Schema, я обнаружил, что больше не могу изменять схему в той же теме. но без реестра схем каждая запись имеет внутри свою собственную схему, поэтому ее легко изменить в любое время.
Итак, как я могу изменить...
478 просмотров
schedule
27.02.2023
Ошибка Kafka Confluent - java.net.BindException: адрес уже используется
Я запускаю Kafka через платформу Confluent. Я выполнил указанные выше действия, java.net.BindException: адрес уже используется.
Согласно документации здесь https://docs.confluent.io/2.0.0/quickstart.html#quickstart
запустить zookeeper,
$...
9931 просмотров
schedule
19.10.2022
Проблема схемы с реестром схем Kafka
Я знаю, что прихожу к вам с любыми новостями, но я застрял в решении проблемы, которая, вероятно, является моей ошибкой, на самом деле я не могу понять, какое решение. Я использую автономную установку платформы Confluent (версия 4.0.0 с открытым...
957 просмотров
schedule
24.06.2022
Как зарегистрироваться и использовать схему AVRO для Kafka Connect и Spark?
Я не совсем понимаю, как я могу зарегистрировать схему, чтобы использовать ее в соединителях источника или приемника jdbc и читать данные в Spark.
это схема avro, которую я хотел бы использовать для извлечения записей из базы данных MS SQL.
{...
3266 просмотров
schedule
03.01.2023
Как использовать коннектор JDBC с настраиваемым шифрованием
У нас есть требование использовать JDBC Connector для чтения данных из RDBMS, а затем использовать наше настраиваемое шифрование перед отправкой данных в Kafka. И расшифровывает данные на выходе, а затем отправляет их в последующие приемники....
445 просмотров
schedule
15.09.2023
Как установить максимальное количество попыток потребителя Spring Kafka при использовании реестра схем
Я разрабатываю сервер загрузки Spring с помощью Spring kafka (1.3.2.RELEASE), apache avro (1.8.2) и реестра схем io.confluent (3.1.2). Таким образом, даже когда слушатель kafka получает сообщение kafka, он найдет идентификатор схемы в сообщении и...
644 просмотров
schedule
06.06.2022
Конфлюентный реестр схем запускается не всегда
Я набираю "confluent start schema-registry", и он загружает zookeeper, kafka и дает сбой в реестре схемы. Через минуту я снова набираю команду, она обнаруживает, что zookeeper и kafka уже запущены, и без проблем запускает реестр схемы.
Я не могу...
1439 просмотров
schedule
15.06.2023
Как создать преобразование в Memsql, если источником является формат Kafka Avro
Я могу передавать данные из Kafka в Memsql.
Я пытаюсь нажать с помощью Transform. Я создал Kafka Consumer на Python, который использует данные из Kafka Topic и конвертирует их в формат Json.
Я не знаю, как использовать это как Transform в...
422 просмотров
schedule
24.07.2023
Неизвестный магический байт с kafka-avro-console-consumer
Я пытался подключиться с kafka-avro-console-consumer из Confluent к нашему устаревшему кластеру Kafka, который был развернут без реестра Confluent Schema Registry. Я предоставил схему, явно используя такие свойства, как:
kafka-console-consumer...
10747 просмотров
schedule
22.05.2023
KafkaAvroSerializer с несколькими URL-адресами реестра avro
у нас есть KafkaAvroSerde настроенный с несколькими URL-адресами avroregistry. В какой-то момент serde получил тайм-аут при попытке зарегистрировать схему на 1 URL-адресе, но поскольку он выдал исключение ввода-вывода до потокового приложения,...
531 просмотров
schedule
29.03.2023
Зачем мне нужно создавать потребителя Kafka для подключения к реестру схем?
Предыдущее примечание: я новичок в Kafka.
Я пытаюсь получить все схемы из реестра схем, но не могу сделать это только с помощью клиента реестра схем. Это работает, только если до этого я создаю экземпляр KafkaConsumer.
Не понимаю почему. Вот...
273 просмотров
schedule
01.05.2023
Совместимость Spring Kafka, Spring Cloud Stream и Avro Неизвестный магический байт
У меня проблема с десериализацией сообщений из тем Kafka. Сообщения были сериализованы с помощью spring-cloud-stream и Apache Avro. Я читаю их с помощью Spring Kafka и пытаюсь десериализовать их. Если я использую spring -cloud как для создания, так...
3298 просмотров
schedule
31.10.2022
Как получить доступ к серверу реестра конфлюентной схемы, защищенному паролем, с помощью облачного потока Spring?
Я использую Spring Cloud Stream вместе с реестром схем Aiven , который использует реестр схем confluent . Реестр схем Aiven защищен паролем. На основе этих инструкций. эти два параметра конфигурации должны быть установлены для успешного доступа...
2785 просмотров
schedule
01.08.2022
Ошибка истечения времени ожидания реестра конфлюентной схемы
Я использую схему Avro для записи данных в тему Kafka. Изначально все работало нормально. После добавления еще одного нового поля (scan_app_id) в файл avro. Я столкнулся с этой ошибкой.
Файл Avro: {
"type": "record", "name":...
2751 просмотров
schedule
09.10.2022
Spring Cloud Stream Kafka с реестром конфлюентной схемы не удалось отправить сообщение на выход канала
Я хотел бы протестировать Spring Cloud Stream с Confluent Schema Registry и Avro Schema evolution, чтобы интегрировать его с моим приложением. Я обнаружил, что Spring Cloud Stream не поддерживает безопасное соединение с Confluent Schema Registry, и...
2039 просмотров
schedule
26.05.2022
Невозможно подключиться из задания потока данных к реестру схемы, когда реестр схемы требует аутентификации клиента TLS
Я разрабатываю задание GCP Cloud Dataflow, использующее брокер Kafka и реестр схем. Нашему брокеру Kafka и реестру схем требуется сертификат клиента TLS. И я столкнулся с проблемой подключения к реестру схем при развертывании. Любые предложения...
1248 просмотров
schedule
11.06.2022
pyspark: функция десериализации avro на фрейме данных не работает, поскольку ожидает список
Функция десериализации avro ожидает байтов в списке и не работает при применении к кадру данных. Работает только с collect (), но драйверу / мастеру не хватает памяти
При использовании Spark версии 2.3.3 с Python 3.6.8 фрейм данных создается из...
303 просмотров
schedule
27.04.2023
KafkaStreamsStateStore не работает, если значением хранилища является Avro SpecificRecord
У меня есть приложение Spring Cloud Kafka Streams, которое использует StateStore в API процессора при использовании преобразователя для выполнения дедупликации.
Пары "ключ-значение" государственного хранилища бывают следующих типов: <String,...
603 просмотров
schedule
27.03.2022
