Я создал объект Spark Context и попытался получить текст из текстового файла на сервере hadoop (не на моем локальном сервере), и мне удалось его получить. Когда я пытаюсь получить таблицу улья (которая находится на автономном компьютере, кластере),...

Случай: у меня есть таблица HiveTest, которая представляет собой таблицу ORC и транзакцию, установленную как true, загруженную в искровую оболочку и просмотренные данные. var rdd= objHiveContext.sql("select * from HiveTest") rdd.show() ---...

Я использую искру (автономную) CDH5.4.2. После копирования hive-site.xml в $SPARK_HOME/conf я могу запросить из улья в spark-shell , как показано ниже: scala> val hiveContext = новый org.apache.spark.sql.hive.HiveContext(sc);...

Ниже мой улей/conf/hive-site.xml: <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://127.0.0.1/metastore?createDatabaseIfNotExist=true</value>...

У меня возникли проблемы с запуском sql, который загружает данные в таблицу разделов в контексте куста, я установил dynamic partition = true , но все же у меня проблема. SQL: insert overwrite table target_table PARTITION (column1,column2)...

spark-shell --packages com.databricks:spark-csv_2.11:1.2.0 1. использование SQLContext ~~~~~~~~~~~~~~~~~~~~~~ 1. импорт org.apache. spark.sql.SQLContext 2. val sqlctx = новый SQLContext(sc) 3. импортировать sqlctx._ val df =...

Я пытаюсь загрузить данные из DB2 в Hive с помощью Spark 2.1.1. и Скала 2.11. Используемый код приведен ниже import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.sql import...