Я новичок в Scala и Spark. Я изучаю библиотеку Amazon Deequ для профилирования данных. Как получить количество строк, имеющих определенное значение, при использовании ColumnProfilerRunner()? У AnalysisRunner есть опция «соответствие». Я ищу...

Я использую библиотеку amazon deequ и пытаюсь передать правила из таблицы csv или mysql. В моем CSV-файле будет столбец со значениями, как показано ниже. rules_column -------------------------------------------------------------------------...

Здравствуйте, я использую Amazon Deequ для создания набора ограничений для проверки качества моих данных. Я хочу сохранить объект предложения ограничения в HDS, чтобы я мог загрузить его и использовать для проверки в любое время, когда я хочу...

Я хотел бы добавить несколько новых правил в рабочий процесс предложений deequ. Например, deequ предлагает проверить, содержит ли столбец URL (containsURL). Я хотел бы сделать соответствующее правило предложения. Я был бы признателен за...

Я работаю над AWS Glue и использую API pyspark для своего ETL. Я считаю, что если мне нужно использовать Amazon Deequ, мне нужно переключиться на Scala. Однако я все еще хочу продолжать использовать API-интерфейсы Pyspark. Есть ли выход? Если да,...

Я хочу ввести тестирование качества данных (пустые поля/максимально-минимальные значения/регулярные выражения/и т. д.) в свой конвейер, который по существу будет потреблять темы kafta, проверяющие данные до того, как они будут зарегистрированы в БД....