Вопросы по теме 'spark3'

Структурированная потоковая передача PySpark + ошибка Kafka (вызвано: java.lang.ClassNotFoundException: org.apache.spark.sql.sources.v2.StreamWriteSupport)
Я пытаюсь запустить Python Spark Structured Streaming + Kafka, когда запускаю команду Master@MacBook-Pro spark-3.0.0-preview2-bin-hadoop2.7 % bin/spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.12:2.4.5 \...
2433 просмотров

Apache spark 3.0 со стеком HDP 2.6
Мы планируем настроить Apache Spark 3.0 за пределами существующего кластера HDP 2.6 и отправлять задания с использованием пряжи (v2.7) в этом кластере без обновления или модификации. В настоящее время пользователи используют Spark 2.3, который входит...
299 просмотров
schedule 27.02.2023