Я хочу использовать тот же рецепт, который я использую для одного набора данных, для остальных моих наборов данных. Структура/заголовки всех наборов данных одинаковы. Есть ли способ импортировать или повторно использовать один и тот же рецепт без повторного выполнения всех шагов?
Повторно используйте один и тот же рецепт для нескольких наборов данных
Ответы (2)
Я только начинаю работать с DataPrep, но, насколько я понимаю, вы можете сначала ввести все свои источники в рецепт, а затем разветвить их в конце и использовать расписание для запуска каждого из них.
Допустим, у вас есть пять входных файлов с одинаковой структурой, но представляющих разные рынки сбыта. Импортируйте все пять, и если market столбца нет, используйте рецепт для derive нового столбца со статическим значением.
UNION все это в рецепт (таким образом, основной рецепт получает один файл).
В конце рецепта добавьте новый рецепт для каждого выхода, который запускает KEEP, сохраняя только данные для этого рынка. Это создаст пять выходов.
Запланируйте каждый из этих рецептов, и когда расписание запустится, вы получите пять разных выходных данных — по одному для каждого входа.
person
Adam Hopkinson
schedule
23.11.2017
Большое спасибо Адам
- person S.Upp; 24.11.2017
На странице просмотра потока вы можете «обменять» источник данных на рецепт. Если вы хотите использовать разные последующие шаги для разных источников данных, вы можете «сделать копию» рецепта, а затем поменять местами источник данных скопированного рецепта.
Дополнительные сведения см. на странице https://cloud.google.com/dataprep/docs/html/Flow-View-Page_57344806
person
Lars Grammel
schedule
29.10.2017
Большое спасибо Ларс
- person S.Upp; 24.11.2017
