Вопросы по теме 'google-cloud-bigtable'
Поддержка сопроцессора Google Cloud Bigtable
Google Cloud BigTable не поддерживает сопроцессоры:
Сопроцессоры не поддерживаются. Вы не можете создавать классы, реализующие интерфейс org.apache.hadoop.hbase.coprocessor.
https://cloud.google.com/bigtable/docs/hbase-differences
Я...
1026 просмотров
schedule
01.01.2023
Дизайн хранилища временных рядов
Я проверил документ временных рядов из облака Google https://cloud.google.com/bigtable/docs/schema-design-time-series , а также дизайн схемы opentsdb, основанный на hbase, который очень похож на bigtable.
Дизайн схемы opentsdb использует множество...
1138 просмотров
schedule
31.10.2023
Аутентификация Google Cloud Bigtable с Go
Пытаюсь вставить простую запись как в GoDoc. Но это возвращается,
rpc error: code = 7 desc = "User can't access project: tidy-groove"
Когда я искал коды grpc, он говорит ...
PermissionDenied Code = 7
// Unauthenticated indicates the...
657 просмотров
schedule
08.05.2023
Время отклика (задержка) сканирования / получения Bigtable при низкочастотных вызовах очень велико
У меня есть одна небольшая таблица (размером 100 МБ) в bigtable с 10 экземплярами. Когда я пытаюсь сканировать / получать строку раз в 1 минуту, задержка вызова составляет более 300 мс. Если я нажимаю на более частые вызовы, например, один раз в...
1943 просмотров
schedule
19.04.2023
Google Bigtable против BigQuery для хранения большого количества событий
Фон
Мы хотели бы хранить наши неизменяемые события в (желательно) управляемом сервисе. Средний размер одного события составляет менее 1 Кб, а у нас от 1 до 5 событий в секунду. Основная причина хранения этих событий - возможность воспроизвести...
17020 просмотров
schedule
09.10.2022
Триггер данных Bigtable / часы
Я хочу получать данные из bigtable в поток данных неограниченным образом, чтобы обработка запускалась на основе непрерывных вставок в таблицу. Документ ( https://cloud.google.com/bigtable/docs/dataflow-hbase ) говорит только об ограниченном чтении с...
500 просмотров
schedule
17.01.2023
Указание разрешений для каждой таблицы в облачной большой таблице Google
У меня есть облачное развертывание Google с несколькими таблицами. Есть ли способ создать учетные записи служб с детализацией разрешений на уровне таблиц?
Например, у меня есть два задания A и B, так что 1. задание A получает доступ только для...
214 просмотров
schedule
08.01.2023
Bigtable / HBase: богатое семейство столбцов против одного объекта JSON
Я хочу хранить довольно большой объем данных в Google Cloud Bigtable (несколько петабайт) для обслуживания. Я планирую получить доступ к данным, используя первичный ключ, иногда с помощью запроса префикса ключа.
Обновление данных не планируется....
2303 просмотров
schedule
30.11.2022
Обнаружено исключение NullPointerException при записи в BigTable с использованием sdk потока данных Apache Beam
Я использую Apache's Beam версию sdk 0.2.0-incubating-SNAPSHOT
и пытаюсь перенести данные в bigtable с помощью Dataflow runner. К сожалению, я получаю NullPointerException при выполнении конвейера потока данных, в котором я использую...
320 просмотров
schedule
02.09.2022
Межпроектный доступ к потоку данных Google Cloud для большой таблицы
Я хочу запустить задание потока данных для переноса данных из google-project-1-table в google-project-2-table. (Прочтите от одного и напишите другому). При этом у меня возникают проблемы с разрешением. Я установил "GOOGLE_APPLICATION_CREDENTIALS"...
1418 просмотров
schedule
21.04.2023
Невозможно подсчитать количество строк в BigTable
https://cloud.google.com/bigtable/docs/go/cbt-reference
Как и в этой ссылке, я попробовал следующую команду
cbt count <table>
для трех разных таблиц.
По одному из них я получил то, что ожидал: количество строк немного меньше 1M....
3982 просмотров
schedule
10.06.2023
Из Bigtable в GCS (и наоборот) через поток данных
Мы пытаемся запустить ежедневный конвейер потока данных, который считывает данные из Bigtable и выгружает данные в GCS (используя HBase Scan и BaseResultCoder в качестве кодировщика) следующим образом (просто чтобы выделить идею):
Pipeline...
771 просмотров
schedule
13.06.2023
Экспорт / импорт определенных семейств столбцов bigtable
Моя команда рассматривает возможность экспорта / импорта данных bigtable, но только части семейств столбцов (не всех) по техническим причинам.
Эти документы, кажется, предполагают, что экспорт / импорт возможен только для всей bigtable....
107 просмотров
schedule
01.06.2022
Bigtable Scan.setReversed() не работает в версии 1.2.1?
Я использую JAVA API для сканирования Bigtable по частичному ключу строки, как назад, так и вперед. Этот код работает хорошо, но ТОЛЬКО вперед:
Scan s = new Scan();
s.setReversed(true);
s.setStartRow(rowKey);...
606 просмотров
schedule
10.11.2022
Сканирование всей большой таблицы (определенного семейства столбцов) через поток данных
Мы используем 50–100 узлов bigtable (в зависимости от объема обрабатываемых данных это количество варьируется от 50 до 100 в течение дня).
Каждый день у нас есть задание потока данных, которое сканирует всю большую таблицу (одного определенного...
549 просмотров
schedule
17.08.2022
Экземпляр Google Cloud Bigtable
Я работаю над приложением IOT, которое считывает данные с некоторых датчиков, и мне нужно заполнить эти данные в экземпляре Google Cloud Bigtable. Я использую Java 1.8 для разработки и буду использовать API HBase для операций, связанных с Bigtable....
273 просмотров
schedule
04.12.2022
Определить идентификатор проекта Google Cloud из контейнера в кластере Kubernetes, размещенном в Google
Определите идентификатор проекта Google Cloud из контейнера в кластере Kubernetes, размещенном в Google.
При подключении к BigTable; Мне нужно предоставить идентификатор проекта Google. Есть ли способ обнаружить это автоматически из K8s?
1415 просмотров
schedule
15.04.2022
RegexStringComparator BigTable, соответствующий двоичному числу
В BigTable при использовании RegexStringComparator возможно ли сопоставить число в двоичном формате. Например, предположим, что ключ строки содержит число, но для экономии места и обеспечения предсказуемой длины это число сохраняется как 4-байтовое...
139 просмотров
schedule
06.12.2022
Как составить ключ строки в BigTable?
В https://cloud.google.com/bigtable/docs/schema-design четко описано, как выбрать ключ строки таблицы. Но я не смог найти никакой информации о том, как составить этот ключ строки. Где и какими средствами он состоит?
2906 просмотров
schedule
09.05.2022
Параллельное сканирование в Google BigTable обеспечивает ускорение?
Я пытаюсь оптимизировать время сканирования запроса. Запрос представляет собой простой запрос диапазона без фильтров. Когда я запускаю запрос, сканирование несоленых данных временных рядов обычно занимает около 10 секунд (около 1,8 миллиона строк,...
286 просмотров
schedule
01.06.2023
