Вопросы по теме 'debezium'
Дебезиум с кафкой или только встроенный Дебезиум?
Может кто-нибудь сказать мне, в чем разница между использованием встроенного Debezium (без kafka) с пакетом osgi и использованием Debezium с kafka? Я не могу найти много информации о Дебезиуме в Интернете.
1110 просмотров
schedule
30.11.2022
Postgres/JDBC/логическая репликация — проблемы с нехваткой памяти
Я разрабатываю приложение, которое подключается к слоту логической репликации для использования событий WAL. Затем эти события WAL пересылаются брокеру MQ. Это прекрасно работает, но я заметил, что через некоторое время мне не хватает памяти. Мне...
2488 просмотров
schedule
10.03.2023
Таймаут сброса Debezium и ошибки OutOfMemoryError с MySQL
Использование Debezium 0.7 для чтения из MySQL, но получение ошибок тайм-аута сброса и ошибки OutOfMemoryError на начальном этапе создания моментального снимка. Глядя на журналы ниже, кажется, что коннектор пытается записать слишком много сообщений...
3245 просмотров
schedule
25.04.2023
Подключение докера к базе данных MySQL
Я новичок в debezium, я пытаюсь подключить свой коннектор kafka к моей уже существующей базе данных MySQL на моем сервере WAMP локально.
Я запустил zookeeper и kafka в соответствии с учебной документацией, а затем запустил коннектор kafka. В моем...
840 просмотров
schedule
22.09.2022
Состояние задачи коннектора не удается подключиться
Состояние задачи соединителя сбой с ошибкой:
org.apache.kafka.connect.errors.ConnectException: java.lang.NoClassDefFoundError
Я запускаю кластер подключения kafka в распределенном режиме, и я использую подключение kafka (0.10.0.2.5) для...
877 просмотров
schedule
11.04.2023
Настройте соединитель debezium mysql с ошибкой подключения kafka
Я использую kafka 2.0 с kafka connect, работающим в распределенном режиме, и пытался настроить соединитель debezium mysql, но получаю ошибку
HTTP/1.1 500 Internal Server Error
Server: squid
Mime-Version: 1.0
Date: Wed, 12 Sep 2018 06:14:40 GMT...
737 просмотров
schedule
25.02.2022
Debezium не предоставляет CDC для встроенной версии для mysql
Я использую зависимости ниже,
<dependency>
<groupId>io.debezium</groupId>
<artifactId>debezium-connector-oracle</artifactId>
<version>${version.debezium}</version>...
663 просмотров
schedule
11.10.2022
Можно ли подключить Debezium к слейву Postgres в версии выше 9.6?
Я нашел это ограничение в документации Debezium:
PostgreSQL 9.6 поддерживает слоты логической репликации только на главных серверах. Это означает, что реплика в кластере PostgreSQL не может быть настроена для логической репликации, и,...
254 просмотров
schedule
30.07.2023
Не удается подключить Debezium 0.9.2 к SQL Server 2008 R2
Когда я пытаюсь подключить Debezium к моей базе данных SQL Server после включения функции CDC, у меня появляется следующее сообщение об ошибке:
java.lang.RuntimeException: Couldn't obtain database name,
at...
1333 просмотров
schedule
10.03.2024
Соединитель Debezium kafka connect не обновляется
Я пытаюсь CDC с помощью Debezium и Kafka. Я зарегистрировал коннектор с 3 таблицами в свойстве table.whitelist , и он работает правильно. Вот конфигурация работающего коннектора....
1633 просмотров
schedule
18.11.2022
Соединитель Debezium CDC с EventHub
Я пытаюсь использовать соединитель Debezium CDC для отправки данных с сервера SQL в Azure EventHub. Но таблица не создается в EventHub с сервера SQL. Я тоже не получаю никаких ошибок. Все темы по умолчанию создаются в eventhub при запуске...
701 просмотров
schedule
21.05.2023
Как десериализовать значение BigDecimal, полученное от брокера kafka через механизм debezium CDC?
У меня есть несколько микросервисов, разработанных с использованием весенней загрузки, и у каждого есть собственная база данных Postgres. Эти микросервисы обмениваются данными с механизмом CDC, предоставляемым платформой debezium, через брокера kafka...
754 просмотров
schedule
20.01.2023
Производитель Kafka не может создавать темы и выдает постоянную ошибку после создания коннектора Debezium MySQL
Я использую Debezium в качестве инструмента CDC для потоковой передачи данных из MySql. После установки коннектора Debezium MySQL в кластер Confluent OSS я пытаюсь зафиксировать изменения MySQL bin_log в теме Kafka. Когда я создаю соединитель, после...
1238 просмотров
schedule
31.07.2023
Ошибка Debezium - невозможно выполнить репликацию, поскольку мастер очистил необходимые двоичные журналы
Я использую debezium-kafka для фиксации изменений в MySQL. Для MySQL я использую AWS RDS. У меня конфигурация чтения-реплики с включенным GTID. Я подключил дебезиум к реплике.
Но после нескольких дней работы debezium завершился ошибкой:...
588 просмотров
schedule
29.05.2023
Заставить wal2json слушать таблицы без первичного ключа
Когда я создаю таблицу с Первичным ключом в PostgreSQL 10
create table test (t1 int, t2 varchar, primary key(id));
и передавать данные из PostgreSQL в Kafka через Debezium, используя wal2json с этими SQL
insert into test values (1,...
285 просмотров
schedule
24.12.2022
kafka connector update rest api не обновлять данные приемника
Я запускаю приемник с неправильным преобразованием, которое создает неправильные данные в таблице приемника mysql, но когда я исправляю конфигурацию приемника с помощью PUT rest API и запускаю его, он работает успешно, но не обновляет существующие...
54 просмотров
schedule
06.06.2022
ОШИБКА Debezium postgres: параметр include-unchanged-toast устарел
В настоящий момент я провожу нагрузочный тест на коннекторе Debezium postgres, чтобы узнать, может ли он поддерживать очень большие объемы (с точки зрения миллиардов) журналов изменений в Aurora Postgres. Когда я вставляю 1 миллион записей в таблицу...
381 просмотров
schedule
07.08.2023
Соединитель Debezium mongodb kafka не создает некоторые записи в теме, как в mongodb
В моем mongodb у меня есть эти данные
mongo01:PRIMARY> db.col.find({"_id" : ObjectId("5d8777f188fef5555b")})
{ "_id" : ObjectId("5d8777f188fef5555b"), "attachments" : [ { "name" : "Je", "src" : "https://google.co", "type" : "image/png" } ],...
377 просмотров
schedule
29.02.2024
Kafka connect Debezium Postgres Cloud SQL
Я пытаюсь подключиться к Postgres Cloud SQL с помощью коннектора Debezium Postgres. И я получаю в журналах следующую ошибку.
connect_1 | org.apache.kafka.connect.errors.ConnectException: org.postgresql.util.PSQLException: FATAL: must be...
1786 просмотров
schedule
08.03.2022
Как подключить Kafka (Aiven) к локальному SQL Server с помощью коннектора Debezium
У меня есть управляемый кластер kafka, работающий в облаке на Aiven (GCP). Я пытаюсь использовать соединитель Debezium SQL Server для потоковой передачи записей CDC из нашей локальной базы данных.
Кто-нибудь знает, как подключиться из kafka в...
255 просмотров
schedule
21.11.2022
