jupyter notebook pyspark sparkmagic ошибка, когда я использую встроенный sql magic

Я успешно настроил ядро ​​PySpark в ноутбуке jupyter, я также установил SparkMagic. Когда я пытаюсь использовать следующую команду:

%%sql
SELECT DepDelay, ArrDelay FROM flightData

он начинает работать, и внезапно Spark перестает выдавать следующую ошибку:

Произошла ошибка: недопустимый код состояния '400' из http://localhost:8998/sessions/0/statements/4 с ошибкой полезной нагрузки: {"msg": "требование не выполнено: сеанс неактивен."}

вы можете найти полный файл журнала здесь, чтобы загрузить и посмотреть. https://drive.google.com/open?id=1lvYqQBUCiIFp4lz3aVn

Ценю вашу помощь. Спасибо заранее


jupyter-notebook python apache-spark pyspark livy
person M. Wadi    schedule 24.10.2019    source источник
comment
перед запуском этой строки вы уверены, что соединение установлено, если нет, попробуйте spark.applicationID   -  person Sarath Chandra Vema    schedule 24.10.2019
comment
все остальное работает, например: следующие строки, поэтому я предполагаю, что приложение запущено. data.createOrReplaceTempView (flightData) spark.sql (SELECT DayOfWeek, AVG (ArrDelay) AS AvgDelay FROM flightData GROUP BY DayOfWeek ORDER BY DayOfWeek) .show ()   -  person M. Wadi    schedule 25.10.2019

Ответы (1)


arrow_upward
0
arrow_downward

Попробуйте в одной строке вот так

%sql SELECTDepDelay, ArrDelay FROM flightData
person Sarath Chandra Vema    schedule 25.10.2019
comment
Теперь это сработало, однако я загрузил меньшее количество строк во фрейм данных, и команда %% sql сработала, поэтому я предполагаю, что это связано с ресурсами моего ПК, есть ли какие-либо конфигурации, которые можно было бы сделать? - person M. Wadi; 25.10.2019