BigQuery и «bq load» — переопределение CSEK набора данных по умолчанию с помощью GMEK для некоторых таблиц.

У меня есть набор данных в Big Query с указанным по умолчанию ключом шифрования, управляемым клиентом (CMEK). Это обязательное требование, которое по умолчанию гарантирует, что новые таблицы будут шифроваться с использованием CMEK (если не указано иное).

У меня есть некоторые данные, которые я хочу добавить в набор данных, для которого не требуется CMEK и вместо которого можно использовать ключ шифрования, управляемый Google (GMEK).

Основная причина заключается в том, чтобы иметь возможность использовать функции, недоступные при использовании CMEK, такие как возможность использовать подстановочные знаки для таблиц в SQL в Big Query.

Мой вопрос: используя команду bq load из командной строки, как я могу переопределить ключ по умолчанию с помощью GMEK при загрузке данных в Big Query?

Например, если бы было наоборот, я мог бы использовать --destination_kms_key и указать свой CMEK, но я не вижу возможности в документация, позволяющая указать GMEK.

Это возможно?


person Paul    schedule 14.04.2021    source источник


Ответы (1)


Если в вашем наборе данных есть ключ KMS по умолчанию, вы можете использовать только этот ключ или указать другой. Вы не можете создать таблицу с GMEK (фактически с ключом KMS).

Для этого вам нужно удалить ключ KMS по умолчанию в наборе данных, а затем указать, когда вы хотите использовать ключ KMS при создании таблицы. Если ничего не указать, используется GMEK.

Примечание. Не смешивайте CMEK и CSEK. Это две разные вещи, которые нельзя смешивать (и CSEK недоступен в BigQuery)


ИЗМЕНИТЬ 1

Не упоминается, как удалить ключ KMS по умолчанию в наборе данных. Я сделал это в своих тестах, и это сработало

bq update --default_kms_key= --dataset <myDataset>
person guillaume blaquiere    schedule 14.04.2021
comment
Более поздние упоминания о CSEK были опечатками с моей стороны, так что спасибо, что заметили это. Речь шла о GMEK и CMEK. Как можно удалить CMEK по умолчанию в наборе данных? Я не нашел параметр в командной строке, и он не отображается в пользовательском интерфейсе. - person Paul; 14.04.2021
comment
Согласен, в доке непонятно. Я нашел способ добиться этого во время моих тестов в вашем случае. Я обновляю свой ответ. - person guillaume blaquiere; 14.04.2021
comment
Спасибо, я попробую проверить это со своей стороны и приму ответ после подтверждения. - person Paul; 14.04.2021