Модуль не найден при попытке отправить проект Python

Я запускаю Spark 2.2.0 на пряже, пытаясь отправить файл Python backtest.py со всеми файлами проекта, заархивированными в prediction.zip. См. ниже команду отправки искры.

Проблема в том, что Spark не может найти один из моих модулей. Что мне не хватает?

HADOOP_CONF_DIR="/etc/hive/conf.cloudera.hive" \
SPARK_HOME="/opt/spark/spark-2.2.0-bin-hadoop2.7" \
PYSPARK_PYTHON="/opt/anaconda/bin/python" \
PYSPARK_DRIVER_PYTHON="/opt/anaconda/bin/python" \
sudo -u hdfs \
/opt/spark/spark-2.2.0-bin-hadoop2.7/bin/spark-submit \
--master yarn \
--conf "spark.sql.shuffle.partitions=2001" \
--conf "spark.executorEnv.PYTHONHASHSEED=0" \
--deploy-mode cluster \
--master yarn \
--py-files /home/gals/prediction.zip \
/home/gals/parent/prediction/backtesting/backtest.py

python apache-spark pyspark spark-submit yarn
person Gal Shaboodi    schedule 12.03.2018    source источник
comment
Пожалуйста, дайте мне знать, если вам нужна дополнительная информация...   -  person Gal Shaboodi    schedule 12.03.2018
comment
Не могли бы вы взглянуть на это ? В общем, убедитесь, что ваш zip и ваш файл python размещены где-то, доступном для всех узлов, а не на вашем компьютере.   -  person mkaran    schedule 12.03.2018