Я использую искру 1.6.0 в локальном режиме. Я создал профиль ipython pyspark, поэтому ядро pyspark запустится в блокноте jupyter. Все это работает корректно.
Я хочу использовать этот пакет spark-csv внутри блокнота Jupyter. Я пытался отредактировать файл ~/.ipython/profile_pyspark/startup/00-pyspark-setup.py и поставить --packages com.databricks:spark-csv_2.11:1.4.0 после команды pyspark-shell, но безуспешно. Все еще получаю это сообщение об ошибке:
Py4JJavaError: An error occurred while calling o22.load.
: java.lang.ClassNotFoundException: Failed to find data source: com.databricks.spark.csv. Please find packages at http://spark-packages.org
I have tried also [this solution][2] and many others...none of them worked.
Есть ли у вас какие-либо предложения?
