Экспорт / импорт определенных семейств столбцов bigtable

Моя команда рассматривает возможность экспорта / импорта данных bigtable, но только части семейств столбцов (не всех) по техническим причинам.

Эти документы, кажется, предполагают, что экспорт / импорт возможен только для всей bigtable.

https://cloud.google.com/bigtable/docs/exporting-sequence-files https://cloud.google.com/bigtable/docs/importing-sequence-files

Мы хотим избежать экспорта всего bt из-за его размера (и нам нужны только определенные семейства столбцов для резервного копирования / восстановления).

Возможно, есть простое решение, о котором мы не знаем, поэтому я подумал, что спрошу здесь.

Другой подход, о котором мы думали, заключался в использовании Dataflow для сканирования определенных семейств столбцов, выгрузки данных в GCS (посредством сохранения моментального снимка) и восстановления данных, когда это необходимо. Но если нам не нужно использовать Dataflow, это будет лучшим решением для нас.

Любая помощь и предложения будут очень признательны!


person Haden Hooyeon Lee    schedule 11.12.2016    source источник


Ответы (1)


В настоящее время вы можете установить одно семейство столбцов с помощью -Dhbase.mapreduce.scan.column.family=<your_family> в командной строке.

В настоящее время мы работаем над улучшением нашего процесса импорта / экспорта. При желании вы можете запросить улучшение в наших проблемах с github, и мы сможем добраться до него довольно быстро. Следующее должно быть относительно легко реализовать, но в настоящее время не реализовано:

-Dhbase.mapreduce.scan.column.families=<your families separated by commas>
person Solomon Duskis    schedule 11.12.2016
comment
Я отправил сообщение о проблеме с github: github.com/GoogleCloudPlatform/cloud-bigtable-client/ вопросы / - person Solomon Duskis; 14.12.2016