Я только начал использовать GCP, и у меня есть некоторые сомнения относительно правильного использования некоторых из его инструментов. В частности, я пытаюсь получить данные из Google Analytics в BigQuery. Можно ли использовать Dataprep для данных, хранящихся в BigQuery? Почти в каждом примере, который я видел, используется Dataprep для визуализации данных, хранящихся в Google Storage, но ничего не относится к BigQuery.
Любая помощь могла бы быть полезна.
Вы можете полностью использовать Dataprep для обработки данных, хранящихся в BigQuery. Это дает вам отличный способ визуализировать, как выглядит ваш набор данных, и интерактивно определять преобразования.
Вы действительно хотите использовать для этого Dataprep? Преобразования будут более дорогостоящими и медленными, поскольку они будут выполняться в Dataflow, что обычно дороже и медленнее, чем выполнение всего в BigQuery (поскольку вопрос относится к данным, которые уже находятся в BigQuery).
С другой стороны, интерактивная среда может помочь вам быстро определить, что вы хотите, и периодически запускать созданный рецепт.
Подробнее об этом см. Лак «Как запланировать задание BigQuery ETL с Dataprep».
Согласно документации по Dataprep, вы можете импортировать наборы данных BigQuery.
Но может быть проще просто открыть Dataprep и проверить там параметры импорта:
