Вопросы по теме 'cdap'
Интеграция Cloudera и Cdap
Как добавить CDAP (платформу приложений для хранения данных) в cloudera? Я установил cloudera на свой компьютер и добавил к нему ноду. Теперь я хочу добавить cdap в cloudera на моем узле с помощью менеджера cloudera.
115 просмотров
schedule
08.11.2022
Службы Cask CDAP запущены, но не работают во время установки
Изучив документы по установке CDAP в системе MapR (v6.0) и запуску служб cdap, я обнаружил, что некоторые службы CDAP не запускаются после запуска ( https://docs.cask.co/cdap/current/en/admin-manual/installation/mapr.html#starting-cdap-services ),...
352 просмотров
schedule
12.07.2022
Как удалить временные файлы из CDAP?
Я использую сервер CDAP для 24x7. Но после 5 дней непрерывной работы сервер перезагружается из-за нехватки памяти.
CDAP: sandbox ОС: UBUNTU Версия CDAP: 5.0.0
45 просмотров
schedule
29.06.2023
Как использовать Custom Transform в Wrangler?
Я пытаюсь использовать настраиваемое преобразование, используя столбец в плагине Wrangler.
Есть ли документация, в которой я могу найти список функций для применения настраиваемого преобразования? Также для конкретного случая я хочу заменить...
1262 просмотров
schedule
28.04.2023
Эквивалентно функции LEFT () в обработчике конвейера данных слияния данных в облаке Google?
Мне нужно перенести рецепты из рецепта dataprep в обработчик конвейера слияния данных.
derive type: single value: LEFT(column3, 3) as: 'column3'
Когда я ввожу пользовательское преобразование, появляется сообщение об ошибке:...
338 просмотров
schedule
27.04.2022
Плагин CDAP Source для чтения данных с Sftp-сервера
Я хочу прочитать CSV-файл, доступный для Sftp-сервера, с помощью исходного плагина cdap.
Я наткнулся на Источник пакета FTP плагин, который делает то же самое. Но при запуске этого я получаю исключение ниже.
Caused by: java.io.IOException:...
245 просмотров
schedule
31.08.2022
Использование сжатых файлов с Datafusion
Есть ли способ использовать сжатые файлы с помощью слияния данных в облаке. Я использовал Google Storage в качестве источника и поместил файл gzip в предпочтительное место.
В преобразовании обработчика я не вижу предварительного просмотра. Когда...
361 просмотров
schedule
19.03.2023
Как я могу предоставить значения параметров / аргументов времени выполнения через файл для конвейера CDAP
Как добавить параметр / аргументы времени выполнения в конвейер CDAP.
Мы можем установить параметры во всех узлах Transforms, Source и Target и вручную ввести значения во время выполнения в средах Datafusion.
Однако в производственных средах я...
394 просмотров
schedule
23.05.2022
Как обрабатывать CSV с разными столбцами в CDAP (Datafusion)?
У меня есть случай, когда я получаю несколько CSV от третьих лиц (немного сложно заставить их изменить формат), и эти CSV должны иметь одинаковые столбцы, но иногда один или несколько столбцов отсутствуют. Если я использую файл CDAP (чтение как...
388 просмотров
schedule
28.06.2022
автоматическое определение вложенного ответа json плагина HTTP в datafusion
Я пытаюсь вызвать HTTP GET API с помощью подключаемого модуля пакетного источника HTTP в слиянии данных. Ответ API представляет собой сложный динамический вложенный json, из-за которого я не могу вручную указать схему вывода. Есть ли способ...
189 просмотров
schedule
15.03.2023
Реализация SCD type2 в Data Fusion
Я пытаюсь реализовать type2 в Datafusion. Может ли кто-нибудь помочь в выполнении вставки и обновления, используя преобразования / действия / условия конвейера для достижения этого. Я пытался сгенерировать хеш с помощью Wrangler как для источника,...
249 просмотров
schedule
12.07.2023
Почему не работает макрос URL-адреса HTTP-плагина datafusion?
Я изучаю макросы в конвейерах слияния данных. Я использую плагин HTTP Sink и пытаюсь включить параметр макроса для параметра URL, например {URL}. когда я пытаюсь развернуть конвейер, возникает следующая ошибка.
Не удалось настроить конвейер:...
156 просмотров
schedule
26.08.2022
Выполнение хранимой процедуры из Cloud Datafusion
Я пытаюсь выполнить хранимую процедуру, которая присутствует в bigquery, используя Datafusion Bigquery Execute, т.е. я вызываю процедуру из команды SQL выполнения большого запроса. Конвейер не работает с исключением Null. Это то, что Bigquery...
340 просмотров
schedule
15.09.2022
Как предположить, что метка времени - MST (США / Гора) вместо UTC
Я создаю конвейер в Data Fusion, где мы используем подключаемый модуль базы данных для приема данных из нашей локальной базы данных Oracle и вставки в таблицу BigQuery. Подключаемый модуль базы данных правильно определяет timestamp типы данных для...
248 просмотров
schedule
06.03.2022
Пользовательское преобразование не применяется в обработчике данных в Google Cloud Data Fusion
Я пытаюсь выполнить настраиваемое преобразование в обработчике в Google Cloud Data Fusion.
set-column column (parse-as-json :column 2 ) ? column =^ "[" : (parse-as-json :column 1 )
Я хочу проанализировать столбец как JSON до глубины...
443 просмотров
schedule
25.12.2021
Сшить файлы деталей в один с произвольным именем
Data Fusion Pipeline дает нам один или несколько файлов деталей на выходе при синхронизации в GCS Bucket. Мой вопрос в том, как мы можем объединить эти файлы деталей в один и дать им осмысленное имя?
121 просмотров
schedule
27.06.2023
