Я пытаюсь реализовать type2 в Datafusion. Может ли кто-нибудь помочь в выполнении вставки и обновления, используя преобразования / действия / условия конвейера для достижения этого. Я пытался сгенерировать хеш с помощью Wrangler как для источника, так и для Target и присоединиться к ним. Я был поражен здесь, не знаю, как определить, что нужно обновить / вставить и как с этим справиться. Моя цель - это таблицы BigQuery.
Реализация SCD type2 в Data Fusion
Ответы (1)
Добро пожаловать на Stack overflow @ Manasa!
Как только вы подумаете о Bigquery в качестве хранилища для целевого приемника hrefenx. = Slowly_changing_dimension # Type_2: _add_new_row "rel =" nofollow noreferrer "> SCD type2 метод слияния, вам может потребоваться сначала получить практический способ его реализации, составив конкретный оператор SQL, достигнув желаемая логика. Говоря это, я призываю вас изучить эта отличная статья, написанная @Hariharan Ramachandran, в которой SCD методы на примерах используя сервис Bigquery в качестве целевого держателя данных.
Согласно документации Data Fusion, вы можете найти обширный набор Плагины, расширяющие стандартные рабочие процессы обработки данных. Поэтому в этом конкретном случае я бы рекомендовал реализовать BigQuery Execute плагин, который можно настроить в конвейере, выполняя запросы SQL к управляемой службе Bigquery и выполняя некоторые SCD2 определенные действия.
person
Nick_Kh
schedule
17.02.2020
