Искра 1.6 hive context setConf Проблема

У меня возникли проблемы с запуском sql, который загружает данные в таблицу разделов в контексте куста, я установил dynamic partition = true, но все же у меня проблема.

SQL: insert overwrite table target_table PARTITION (column1,column2) select * , deletion_flag ,'2018-12-23' as date_feed from source_table

Улей setconf: -

  hiveContext.setConf("hive.exec.dynamic.partition","true")
  hiveContext.setConf("hive.exec.max.dynamic.partitions","2048")
  hiveContext.setConf("hive.exec.dynamic.partition.mode", "nonstrict")

Ошибка:

org.apache.hadoop.hive.ql.metadata.Hive.loadDynamicPartitions(org.apache.hadoop.fs.Path, java.lang.String, java.util.Map, boolean, int, boolean, boolean, boolean

Зависимость Maven: -

        <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.10</artifactId>
        <version>1.6.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.10</artifactId>
        <version>1.6.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-hive_2.10</artifactId>
        <version>1.6.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hive</groupId>
        <artifactId>hive-exec</artifactId>
        <version>1.1.0</version>
    </dependency>

Спасибо


apache-spark hive hivecontext
person sri hari kali charan Tummala    schedule 24.12.2017    source источник
comment
опубликуйте сообщение об ошибке, причину и часть трассировки стека.   -  person Amit Kumar    schedule 25.12.2017
comment
Это выглядит как дубликат stackoverflow.com/q/46124389/1305344 или stackoverflow.com/q/40637607/1305344, но, к сожалению, ни один из них не предлагает принятого ответа.   -  person Jacek Laskowski    schedule 25.12.2017
comment
проверьте эту ссылку на наличие ошибки трассировки стека, community.cloudera.com/t5/Advanced-Analytics-Apache-Spark/   -  person sri hari kali charan Tummala    schedule 25.12.2017
comment
попробовал это, но безуспешно (dmlcoding.com/2017/SparkBug)   -  person sri hari kali charan Tummala    schedule 25.12.2017
comment
решено: - после получения всех зависимостей maven из репозиториев cloudera   -  person sri hari kali charan Tummala    schedule 25.12.2017
comment
‹dependency› ‹groupId›org.apache.spark‹/groupId› ‹artifactId›spark-core_2.10‹/artifactId› ‹version›1.6.0-cdh5.9.2‹/version› ‹/dependency› ‹dependency› ‹groupId ›org.apache.spark‹/groupId› ‹artifactId›spark-sql_2.10‹/artifactId› ‹version›1.6.0-cdh5.9.2‹/version› ‹/dependency› ‹dependency› ‹groupId›org.apache. spark‹/groupId› ‹artifactId›spark-hive_2.10‹/artifactId› ‹version›1.6.0-cdh5.9.2‹/version› ‹/dependency›   -  person sri hari kali charan Tummala    schedule 25.12.2017

Ответы (1)


arrow_upward
0
arrow_downward

Я решил проблемы после получения всех зависимостей maven от репозитория cloudera.

 <dependencies>
    <!-- Scala and Spark dependencies -->

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.10</artifactId>
        <version>1.6.0-cdh5.9.2</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.10</artifactId>
        <version>1.6.0-cdh5.9.2</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-hive_2.10</artifactId>
        <version>1.6.0-cdh5.9.2</version>
    </dependency>
     <!-- https://mvnrepository.com/artifact/org.apache.hive/hive-exec -->
    <dependency>
        <groupId>org.apache.hive</groupId>
        <artifactId>hive-exec</artifactId>
        <version>1.1.0-cdh5.9.2</version>
    </dependency>
    <dependency>
        <groupId>org.scalatest</groupId>
        <artifactId>scalatest_2.10</artifactId>
        <version>3.0.0-SNAP4</version>
    </dependency>
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.11</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-mllib_2.10</artifactId>
        <version>1.4.1</version>
    </dependency>
    <dependency>
        <groupId>commons-dbcp</groupId>
        <artifactId>commons-dbcp</artifactId>
        <version>1.2.2</version>
    </dependency>
    <dependency>
        <groupId>com.databricks</groupId>
        <artifactId>spark-csv_2.10</artifactId>
        <version>1.4.0</version>
    </dependency>
    <dependency>
        <groupId>com.databricks</groupId>
        <artifactId>spark-xml_2.10</artifactId>
        <version>0.2.0</version>
    </dependency>
    <dependency>
        <groupId>com.amazonaws</groupId>
        <artifactId>aws-java-sdk</artifactId>
        <version>1.0.12</version>
    </dependency>
    <dependency>
        <groupId>com.amazonaws</groupId>
        <artifactId>aws-java-sdk-s3</artifactId>
        <version>1.11.172</version>
    </dependency>
    <dependency>
        <groupId>com.github.scopt</groupId>
        <artifactId>scopt_2.10</artifactId>
        <version>3.2.0</version>
    </dependency>
    <dependency>
        <groupId>javax.mail</groupId>
        <artifactId>mail</artifactId>
        <version>1.4</version>
    </dependency>
</dependencies>
<repositories>
    <repository>
        <id>maven-hadoop</id>
        <name>Hadoop Releases</name>
        <url>https://repository.cloudera.com/content/repositories/releases/</url>
    </repository>
    <repository>
        <id>cloudera-repos</id>
        <name>Cloudera Repos</name>
        <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
    </repository>
</repositories>
person sri hari kali charan Tummala    schedule 25.12.2017