Я больше не могу сохранять таблицу в базу данных куста с помощью хранилища метаданных. Я вижу таблицы в искре с использованием spark.sql , но я не вижу тех же таблиц в базе данных улья. Я пробовал это, но он не хранит таблицу в улье. Как я могу...

Похоже, улей replace columns не работает со искрой 2.2.1, а также с 2.3.1. alterSchemaSql : alter table myschema.mytable replace columns (a int,b int,d int) Exception in thread "main" org.apache.spark.sql.catalyst.parser.ParseException:...

Я хочу собрать zeppelin 0.8.0 со встроенной Spark 2.3.2 и запустить его с той же версией искры, работающей не локально, без установки SPARK_HOME, чтобы мне не требовалось устанавливать SPARK в узле zeppelin. Я пробовал параметры сборки, указанные в...

У меня есть фрейм данных pyspark, размер которого равен (28002528,21), и я пытался преобразовать его в фрейм данных pandas, используя следующую строку кода: pd_df=spark_df.toPandas() У меня такая ошибка: первая часть Py4JJavaError:...

При самостоятельном присоединении фрейма данных pyspark я получил сообщение об ошибке: Py4JJavaError: An error occurred while calling o1595.join. : org.apache.spark.sql.AnalysisException: Resolved attribute(s) un_val#5997 missing from...

Я столкнулся с чем-то под названием LivyBatchOperator , но не смог найти очень хороший пример для отправки приложений pyspark в потоке воздуха. Любая информация об этом будет действительно оценена. Заранее спасибо.

У меня есть кадр данных с одним столбцом, как показано ниже. Я использую pyspark версии 2.3 для записи в csv. 18391860-bb33-11e6-a12d-0050569d8a5c,48,24,44,31,47,162,227,0,37,30,28...