Как подключить Kafka (Aiven) к локальному SQL Server с помощью коннектора Debezium

У меня есть управляемый кластер kafka, работающий в облаке на Aiven (GCP). Я пытаюсь использовать соединитель Debezium SQL Server для потоковой передачи записей CDC из нашей локальной базы данных.

Кто-нибудь знает, как подключиться из kafka в облаке к локальной базе данных? Можно ли это сделать через какое-то соединение VPN или мне нужно настроить VPC через облако Google? Ценю любой совет.


apache-kafka-connect debezium aiven
person ThinkBig    schedule 11.11.2019    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Да, вы можете использовать Debezium для потоковой передачи записей CDC из баз данных в кластер Kafka.

Вот пример с другим управляемым сервисом Kafka, Confluent Cloud.

Главное - правильно настроить параметры безопасности, а также указать соответствующую конфигурацию database.history.consumer и database.history.producer.

person Robin Moffatt    schedule 11.11.2019
comment
Спасибо за подробности. В примере это выглядит так, как будто Kafka Connect / Debezium установлен в локальной сети и отправляет данные в Confluent в облаке. Aiven предоставляет управляемую версию Kafka connect, которая также является облачной. Есть идеи в этом сценарии, как подключиться к локальной базе данных? - person ThinkBig; 11.11.2019
comment
Вероятно, этот вопрос лучше всего задать самим Айвен. - person Robin Moffatt; 11.11.2019
comment
Ответ технической поддержки Aiven: 1. Невозможно настроить VPN из VPC, где работают сервисы Aiven. 2. По сути, VPC, в котором развернуты сервисы Aiven, должен иметь возможность подключаться к локальной MS. SQL-сервер. Следовательно, вам нужно будет открыть порты в вашем брандмауэре, чтобы обеспечить такое соединение. 3. Транзитный шлюз может быть опцией. При таком подходе VPC сервисов Aiven и ваша VPN будут подключаться к транзитному шлюзу, и этот шлюз будет знать, как маршрутизировать трафик. Функция транзитного шлюза - это то, что мы в настоящее время разрабатываем. - person ThinkBig; 13.11.2019