Я работаю над AWS Glue и использую API pyspark для своего ETL. Я считаю, что если мне нужно использовать Amazon Deequ, мне нужно переключиться на Scala. Однако я все еще хочу продолжать использовать API-интерфейсы Pyspark. Есть ли выход? Если да, какие шаги мне нужно выполнить в AWS Glue?
Спасибо
Для Deequ существует оболочка Python, которая называется PyDeequ, она должна работать, хотя я ее не использовал. сам.
Если вы хотите использовать Python, я бы порекомендовал обратиться к библиотеке Great Expectations, которая реализует функции, очень похожие на Deequ , включая поддержку PySpark.
Спасибо за ваше предложение GreatExpectations - фантастическая библиотека, но это пакет, зависящий от C. К сожалению, AWS Glue не поддерживает C-зависимую библиотеку для PySpark.
https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-python-libraries.html
Боюсь, я не смогу использовать GreatExpectations
Любое другое предложение библиотеки PySpark будет очень признательно
