Вопросы по теме 'data-lineage'

Как внедрить Data Lineage в Hadoop?
Мы реализуем несколько бизнес-потоков в финансовой сфере. Требование (к сожалению, не очень конкретное) от регулятора состоит в том, чтобы иметь линию передачи данных для целей аудита. Поток содержит 2 части: синхронную и асинхронную. Синхронная...
939 просмотров

Есть ли способ отслеживать сквозную передачу данных с помощью запроса Neo4j Cypher?
Я использую Spring-Data вместе с SpringBoot для заполнения моей графической базы данных Neo4j. Я определил следующие объекты Neo4j: Source объект --> @NodeEntity public class Source implements Comparable<Source> { @GraphId...
389 просмотров
schedule 29.04.2023

Получение данных Lineage из журналов Spark
Я изучаю возможность получения информации о происхождении данных из журналов Spark для программ Spark. Я ищу информацию, например, какие темы kafka или программа Tables Spark читает или записывает, чтобы мы могли получить время выполнения этой...
507 просмотров
schedule 27.01.2023

Наследование данных в SQL Server
Задача : Давайте представим крупномасштабное предприятие, в котором у нас есть разнородные хранилища данных, такие как SQL-серверы, хранилища без SQL, хранилища больших данных, такие как ADL, ADF и т. д., распределенные по разным бизнес-группам....
2932 просмотров
schedule 29.12.2022

Экземпляр Apache NiFi зависает в окне происхождения Computing FlowFile
Мой экземпляр Apache NiFi просто зависает в «происхождении Computing FlowFile ...» для определенного потока. Другие работают, но не будут отображать происхождение этого конкретного потока для любых файлов данных. Единственное сообщение об ошибке в...
217 просмотров
schedule 05.01.2024