Почему я использую Spark-Shell: Permission denied error в Spark Setup?

Я новичок в Apache Spark. Я пытаюсь настроить Apache Spark на свой Macbook. Я загружаю файл "spark-2.4.0-bin-hadoop2.7" с официального веб-сайта Apache Spark.
Когда я пытаюсь запустить ./bin/spark-shell или ./bin/pyspark, я получаю _1 _.
Я хочу просто запустить Spark на моем локальном компьютере.
Я также пытался предоставить разрешение всем папкам, но это не помогло. Почему я делаю эту ошибку?


apache-spark pyspark hdfs spark-shell
person stef    schedule 02.12.2018    source источник
comment
Вы пробовали chmod +x   -  person Geno Chen    schedule 02.12.2018
comment
После chmod + x spark-2.4.0-bin-hadoop2.7 я беру это для pyspark = ›/Users/apple/spark-2.4.0-bin-hadoop2.7/bin/spark-submit: строка 27: / Users /apple/spark-2.4.0-bin-hadoop2.7/bin/spark-class: в доступе отказано /Users/apple/spark-2.4.0-bin-hadoop2.7/bin/spark-submit: строка 27: exec : /Users/apple/spark-2.4.0-bin-hadoop2.7/bin/spark-class: невозможно выполнить: неопределенная ошибка: 0   -  person stef    schedule 02.12.2018

Ответы (2)


arrow_upward
2
arrow_downward

Это должно решить вашу проблему chmod +x /Users/apple/spark-2.4.0-bin-hadoop2.7/bin/*

Затем вы можете попробовать выполнить bin/pyspark (искровая оболочка в python) или bin/spark-shell (искровая оболочка в scala).

person Oli    schedule 02.12.2018
comment
Я пробовал, но все равно принимаю те же ошибки для spark-shell и pyspark = ›chmod + x /Users/apple/spark-2.4.0-bin-hadoop2.7/bin/* -bash: ./bin/spark-shell : / usr / bin / env: плохой интерпретатор: Операция запрещена apple-MacBook-Air: spark-2.4.0-bin-hadoop2.7 apple $ ./bin/pyspark /Users/apple/spark-2.4.0-bin -hadoop2.7 / bin / spark-submit: /Users/apple/spark-2.4.0-bin-hadoop2.7/bin/spark-class: / usr / bin / env: плохой интерпретатор: операция не разрешена / Пользователи / apple / spark-2.4.0-bin-hadoop2.7 / bin / spark-submit: строка 27: /Users/apple/spark-2.4.0-bin-hadoop2.7/bin/spark-class: неопределенная ошибка: 0 - person stef; 02.12.2018
comment
Вы открывали файлы в редакторе? В этом случае взгляните на stackoverflow.com/questions/9952612/ - person Oli; 02.12.2018

arrow_upward
1
arrow_downward

Я решаю эту проблему, добавляя папку / libexec, чтобы зажечь домашний путь

установите для $ SPARK_HOME значение

/ usr / local / Cellar / apache-spark / ‹your_spark_version› / libexec

person stef    schedule 31.01.2021