Spark Streaming — проблема с CheckPointing

я сделал потоковую передачу в твиттере, используя потоковый пользовательский API твиттера и потоковую передачу искры. это успешно работает на моей локальной машине. но когда я запускаю эту программу на кластере в локальном режиме. он просто успешно работает в первый раз. позже он дает следующее исключение.

"Exception in thread "main" org.apache.spark.SparkException: Found both spark.executor.extraClassPath and SPARK_CLASSPATH. Use only the former."

и путь к классу искры уже не установлен!! Я должен каждый раз создавать новый каталог контрольных точек, чтобы он работал успешно. в противном случае это показывает исключение выше.

Может ли кто-нибудь помочь мне решить эту проблему? Спасибо :)


twitter apache-spark spark-streaming checkpoint
person Sadaf    schedule 05.08.2015    source источник

Ответы (2)


arrow_upward
0
arrow_downward

Столкнулся с похожей проблемой. установка SPARK_CLASSPATH вызывает проблемы, поскольку она устарела. Так что не используйте его.

export LIB_JARS=dependency/jcodings-1.0.8.jar,dependency.....etc
spark-submit --deploy-mode client --master local --class org.xyz.spark.driver.SomeClass  --num-executors 10 --jars ${LIB_JARS}
person Abhiram    schedule 31.03.2016

arrow_upward
0
arrow_downward

попробуйте использовать

#!/bin/bash
HBASE_HOME=/opt/cloudera/parcels/CDH/lib/hbase
SPARK_CLASSPATH="$HBASE_HOME/conf/:$HBASE_HOME/hbase-client.jar:$HBASE_HOME/hbase-protocol.jar:$HBASE_HOME/lib/htrace-core.jar:$HBASE_HOME/lib/htrace-core-3.1.0-incubating.jar"
spark-submit --num-executors 2 --executor-cores 2 --executor-memory 10G  --conf spark.executor.extraClassPath=$SPARK_CLASSPATH your_spark_program.jar --class your_entry_class

самое главное это --conf spark.executor.extraClassPath=$SPARK_CLASSPATH

person shgy    schedule 26.03.2016
comment
Можете ли вы дополнить свой ответ описанием, почему это решает проблему? - person Artjom B.; 26.03.2016