Используете набор данных с параметрами для BigQuery в Cloud Data Prep?

У меня есть несколько наборов данных BigQuery с ежедневными таблицами, например

  • яблоки_201904010
  • яблоки_201904009

и т.п.

Я хотел бы настроить расписание подготовки облачных данных для обработки этих таблиц каждую ночь, поэтому использование набора данных с опцией параметров действительно привлекательно. Когда я нажимаю, чтобы заменить набор данных BigQuery набором данных с параметрами, я получаю следующее приглашение с протоколом BigQuery:

Пример пути BigQuery

Есть ли способ использовать эту настройку для динамического извлечения нужной таблицы каждый день, или мне нужно выбрать другой путь, такой как ежедневный экспорт таблиц в GCS, а затем использовать наборы данных с параметрами?


google-bigquery google-cloud-dataprep
person Courtney Grimes    schedule 10.04.2019    source источник

Ответы (1)


arrow_upward
2
arrow_downward

Чтобы запланировать задания Cloud Dataprep, обрабатывающие таблицы BigQuery по дате, у вас есть следующие возможности:

  1. Используйте Google Cloud Composer, чтобы создать группу доступности базы данных, которая планирует экспорт BigQuery в облачное хранилище, а затем использует эти экспортированные файлы с помощью Параметры Dataprep, как вы упомянули.
  2. [Рекомендуется] Полностью отказаться от использования параметров Dataprep и просто создать настроенное представление BigQuery как набор данных Dataprep.

Затем вы можете запланировать выполнение задания Dataprep в любом из вариантов. ежедневно.

Что касается варианта № 1, вы можете установить диапазон дат набора данных Data Prep с параметрами, чтобы они принимали файлы только в указанном диапазоне дат.

person Gurkomal    schedule 14.08.2019