AWS: настройка потока кинезиса из PostgreSQL в Redshift

Что касается моего предыдущего вопроса, я попросил своего босса пойти дальше и позволить мне настроить DMS из моих существующих postgres на нашу новую базу данных красного смещения для нашей команды аналитиков.

Следующая проблема, с которой я столкнулся, и после того, как я потратил 3 дня на поиск, ничего не помогло мне с этим. Мой босс хочет использовать Kinesis для извлечения данных в реальном времени из базы данных PG в базу данных RS, чтобы наша аналитическая группа могла извлекать из нее данные в реальном времени. Я пытаюсь настроить это, и у меня только головные боли.

У меня настроен поток, Firehose настроен для извлечения из нашего ведра S3, которое я создал, под названием "postgres-stream-bucket", но я не уверен, как получить данные для сброса в него из PG, а затем убедился, что RS собирает все и использует в режиме реального времени.

Однако, если есть лучшие варианты, я бы хотел их услышать, но совершенно необходимо, чтобы у нас были данные, переведенные в реальном времени (или как можно точнее).


person dragos_kai    schedule 13.11.2017    source источник


Ответы (1)


Amazon Kinesis Firehose идеально подходит, если в ваши системы поступают потоковые данные. Он будет собирать записи, группировать их и загружать в Redshift. Однако это не идеального решения для того, что вы описали, где вашим источником является база данных, а не случайные потоки данных.

Поскольку у вас уже установлена ​​служба миграции базы данных, вы можете продолжать использовать ее для непрерывной репликации данных между PostgreSQL и Redshift. Это было бы самое простое и эффективное решение.

person John Rotenstein    schedule 13.11.2017
comment
не оспаривать этот ответ, но как вы думаете, что-то изменилось с 2017 года? много изменений в этой области ... aws.amazon.com/blogs/database/ - person Phillip Fleischer; 07.03.2019