Вопросы по теме 'google-cloud-data-fusion'
Как объединить несколько файлов CSV с одинаковой структурой в Cloud Data Fusion?
Я новичок в Cloud Data Fusion. Я хочу объединить два файла CSV. У двух файлов один и тот же столбец. В Cloud Data Fusion я смог найти функцию объединения, но не функцию объединения. Может ли кто-нибудь сказать мне, как объединить несколько файлов...
407 просмотров
schedule
31.03.2022
Добавление дополнительных данных в Bigquery из MySql с помощью Cloud Data Fusion
Я хочу запланировать конвейер, который передает данные MySql в Google Bigquery, но полные данные добавляются к старой таблице в BQ, я хочу, чтобы добавлялись только добавочные данные ...
414 просмотров
schedule
08.06.2022
Подключение к Cloud SQL MySQL
Мы хотели бы протестировать подключение Cloud SQL (mySQL) к BigQuery с помощью Cloud Data Fusion. Каков правильный способ подключения к CloudSQL, поскольку он, похоже, не является «встроенным» на данный момент. Какой драйвер рекомендуется и есть ли...
1091 просмотров
schedule
24.02.2024
Как использовать Custom Transform в Wrangler?
Я пытаюсь использовать настраиваемое преобразование, используя столбец в плагине Wrangler.
Есть ли документация, в которой я могу найти список функций для применения настраиваемого преобразования? Также для конкретного случая я хочу заменить...
1262 просмотров
schedule
28.04.2023
Google Cloud Data Fusion - подготовка Dataproc внезапно останавливается без сообщения об ошибке
Я разработал простой конвейер для чтения файла CSV из облачного хранилища и записи в таблицу BigQuery. Во время работы конвейера операция внезапно останавливается без каких-либо сообщений об ошибках в журналах. Уже потребовались правила брандмауэра....
473 просмотров
schedule
22.06.2023
Источник SQL Server в Google Data Fusion не работает (проблема с подтверждением SSL)
Я создал простой конвейер в Data Fusion, который читает из одной таблицы MS SQL Server и записывает в BigQuery. Он не работает при подключении к SQL Server с ошибкой установления связи с сокетом.
Я видел эту проблему при создании моих собственных...
366 просмотров
schedule
06.06.2022
Не удалось подключиться к mysql с помощью слияния данных google
Мне не удалось подключиться к MySQL из слияния данных google
Шаг:
Сначала я добавляю коннектор https://dev.mysql.com/downloads/file/?id=462850
Во-вторых, я пытаюсь добавить соединение (не удалось)
снимок экрана MySQL:
Сбой...
709 просмотров
schedule
04.07.2023
Ошибка плагина Saleforce в объединении данных Google Cloud
Я тестирую подключение к продажам из Google Cloud Data Fusion. Я получаю эту ошибку
«Ошибка: не обнаружено обнаружение для запроса POST / v3 / namespaces / system / apps / pipeline / services / studio / methods / v1 / context / default /...
378 просмотров
schedule
02.08.2023
Как исправить исключение java.lang.NullPointerException: null при выполнении MSSQL для BigQuery в Cloud Data Fusion
Я работаю над POC Cloud Data Fusion и пытаюсь создать конвейер MSSQL для BigQuery. Соединение работает благодаря тому, что я могу импортировать свою схему из запроса, однако я получаю MapReduce Program "phase-1" failed с...
974 просмотров
schedule
31.01.2023
Эквивалентно функции LEFT () в обработчике конвейера данных слияния данных в облаке Google?
Мне нужно перенести рецепты из рецепта dataprep в обработчик конвейера слияния данных.
derive type: single value: LEFT(column3, 3) as: 'column3'
Когда я ввожу пользовательское преобразование, появляется сообщение об ошибке:...
338 просмотров
schedule
27.04.2022
Может ли Google Data Fusion производить такую же очистку данных, как DataPrep?
Я хочу запустить модель машинного обучения с некоторыми данными. Перед обучением модели с этими данными мне нужно обработать ее, поэтому я читал несколько способов сделать это.
Прежде всего создайте конвейер потока данных, чтобы загрузить его в...
1950 просмотров
schedule
24.05.2022
Использование сжатых файлов с Datafusion
Есть ли способ использовать сжатые файлы с помощью слияния данных в облаке. Я использовал Google Storage в качестве источника и поместил файл gzip в предпочтительное место.
В преобразовании обработчика я не вижу предварительного просмотра. Когда...
361 просмотров
schedule
19.03.2023
Реализация SCD типа 2 в Cloud Data Fusion Pipeline
У меня есть требование применить SCD2 в моем конвейере слияния данных, и мои исходные данные - GCS, а цель - BigQuery. Я создал конвейер и смог загрузить данные в целевой BigQery, поэтому теперь я хочу реализовать процесс слияния и обновления как...
250 просмотров
schedule
13.10.2022
Как обрабатывать CSV с разными столбцами в CDAP (Datafusion)?
У меня есть случай, когда я получаю несколько CSV от третьих лиц (немного сложно заставить их изменить формат), и эти CSV должны иметь одинаковые столбцы, но иногда один или несколько столбцов отсутствуют. Если я использую файл CDAP (чтение как...
388 просмотров
schedule
28.06.2022
автоматическое определение вложенного ответа json плагина HTTP в datafusion
Я пытаюсь вызвать HTTP GET API с помощью подключаемого модуля пакетного источника HTTP в слиянии данных. Ответ API представляет собой сложный динамический вложенный json, из-за которого я не могу вручную указать схему вывода. Есть ли способ...
189 просмотров
schedule
15.03.2023
Можно ли добавить мой собственный плагин пользовательского преобразования к слиянию облачных данных в версии Basic или Enterprise. Просвети пожалуйста
Насколько я понимаю, в Google Cloud Data Fusion Hub доступно множество плагинов преобразования. Однако, если я хочу создать свой собственный специальный плагин, могу ли я добавить этот плагин в объединение данных Google и использовать его в моем...
333 просмотров
schedule
12.06.2023
Реализация SCD type2 в Data Fusion
Я пытаюсь реализовать type2 в Datafusion. Может ли кто-нибудь помочь в выполнении вставки и обновления, используя преобразования / действия / условия конвейера для достижения этого. Я пытался сгенерировать хеш с помощью Wrangler как для источника,...
249 просмотров
schedule
12.07.2023
Проблема при подключении конвейера Google Datafusion к базе данных mysql
Я подключаю базу данных MYSQL к google bigquery через конвейер datafusion, я использовал jar-файл драйвера jdbc, я установил его и поместил детали в исходный конвейер, во время просмотра данных в базе данных подключений (mysql) я помещаю подробную...
136 просмотров
schedule
25.10.2022
Почему не работает макрос URL-адреса HTTP-плагина datafusion?
Я изучаю макросы в конвейерах слияния данных. Я использую плагин HTTP Sink и пытаюсь включить параметр макроса для параметра URL, например {URL}. когда я пытаюсь развернуть конвейер, возникает следующая ошибка.
Не удалось настроить конвейер:...
156 просмотров
schedule
26.08.2022
Выполнение хранимой процедуры из Cloud Datafusion
Я пытаюсь выполнить хранимую процедуру, которая присутствует в bigquery, используя Datafusion Bigquery Execute, т.е. я вызываю процедуру из команды SQL выполнения большого запроса. Конвейер не работает с исключением Null. Это то, что Bigquery...
340 просмотров
schedule
15.09.2022
