Перенос данных из базы данных одного семейства столбцов в другое семейство столбцов

Я новичок в мире баз данных Cassandra и семейства столбцов. У меня есть сценарий, в котором мне нужно переместить данные из одной базы данных семейства столбцов, такой как база данных Scylla, в другую базу данных семейства столбцов Datastax Cassandra. Объем передаваемых данных составляет миллионы. И я хочу, чтобы эта передача данных происходила через регулярные промежутки времени, скажем, 2 минуты. Я изучал вариант sstableloader. Пока не повезло. Есть ли другой лучший подход для моего сценария? Любые предложения будут высоко оценены.


cassandra bigdata scylla datastax-enterprise column-family
person Balaji Reddy    schedule 02.08.2016    source источник
comment
stackoverflow.com/questions/26724662/   -  person Balaji Reddy    schedule 09.08.2016

Ответы (2)


arrow_upward
2
arrow_downward

(Отказ от ответственности: я сотрудник ScyllaDB)

Есть 3 способа сделать это:

  1. Двойная запись со стороны клиента с отметками времени на стороне клиента в обе БД
  2. Используйте инструмент sstableloader для переноса данных из одной БД в другую.
  3. Используйте команду nodetool refresh для загрузки sstables

Вы можете прочитать больше о миграции с Cassandra на Scylla в следующем документе, который также описывает, как выполнять двойную запись со стороны клиента (вариант 1), с примерами кода + как использовать инструмент sstableloader (вариант 2).

http://docs.scylladb.com/procedures/cassandra_to_scylla_migration_process/

Для nodetool refresh использования вы можете посмотреть здесь: http://docs.scylladb.com/nodetool-commands/refresh/

person TomerSan    schedule 02.11.2017

arrow_upward
0
arrow_downward

Распространенный подход заключается в том, чтобы настроить клиента для параллельной записи в обе базы данных вместо синхронизации двух баз данных. Это обеспечивает синхронизацию двух баз данных при каждой записи.

person Avi Kivity    schedule 03.08.2016
comment
в моем случае это невозможно @Avi Kvity - person Balaji Reddy; 08.08.2016