Не удалось загрузить таблицу кустов в Spark

Я пытаюсь загрузить данные из таблицы улья с помощью spark-sql. Однако он мне ничего не возвращает. Я попытался выполнить тот же запрос в улье, и он распечатал результат. Ниже мой код, который я пытаюсь выполнить в scala.

sc.setLogLevel("ERROR")
import org.apache.spark.sql.DataFrame
import org.apache.spark.sql.Row
import org.apache.spark.sql.types.{StructField, StructType, LongType}
import org.apache.spark.sql.hive.HiveContext
import sqlContext.implicits._
val sqlContext = new HiveContext(sc)
sqlContext.setConf("spark.sql.hive.convertMetastoreOrc", "false")
val data = sqlContext.sql("select `websitename` from db1.table1 limit 10").toDF

Пожалуйста, дайте мне знать, в чем может быть возможная причина.

  • Spark- версия: 1.6.2
  • Скала - 2.10

person prateek    schedule 03.04.2017    source источник
comment
Можете уточнить, он мне ничего не возвращает? Вы data.show?   -  person Jacek Laskowski    schedule 20.04.2017


Ответы (1)


Зависит от того, как таблица была создана в первую очередь. Если он был создан внешним приложением и у вас куст работает как отдельная служба, убедитесь, что настройки в SPARK_HOME / conf / hive-site.xml верны.

Если это внутренняя таблица spark-sql, она устанавливает хранилище метаданных в папке на главном узле, которая в вашем случае могла быть удалена или перемещена.

person jamborta    schedule 06.04.2017