Исключение в потоке main java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStrea

Я новичок в Cloudera Quick-start, поэтому извините, если мое объяснение будет не таким ясным. Во всяком случае, я пишу код на Java, который читает файл из Hdfs. Я создаю Maven-Project и устанавливаю все зависимости в pom.xml, но когда я пытаюсь запустить банку из оболочки (java -jar jnameofthefile.jar), я получаю эту ошибку: Исключение в потоке «основной» java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStrea

Это мой код Java:

package com.hdfs_java_api;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;



import java.io.InputStream;
import java.io.IOException;
import java.net.URI;

public class HadoopFileSystemCat {

public static void main(String [] args) throws IOException
{
    String uri = "hdfs://quickstart.cloudera:8020/user/hive/warehouse/Orders.csv";
    Configuration conf = new Configuration();
    FileSystem fs = FileSystem.get(URI.create(uri), conf);
    InputStream in = null;

    try {

    in = fs.open(new Path(uri));


    IOUtils.copyBytes(in, System.out, 4096, false);
}finally{
    IOUtils.closeStream(in);
        }
}


}

А это мой pom.xml:

 <project xmlns="http://maven.apache.org/POM/4.0.0" 
 xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
 xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 
 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>

<groupId>com</groupId>
<artifactId>cards</artifactId>
<version>0.0.1-SNAPSHOT</version>
<packaging>jar</packaging>

<name>hdfs_java_api</name>
<url>http://maven.apache.org</url>

<properties>
<project.build.sourceEncoding>UTF- 
8</project.build.sourceEncoding>
</properties>

<dependencies>
<dependency>
  <groupId>junit</groupId>
  <artifactId>junit</artifactId>
  <version>3.8.1</version>
  <scope>test</scope>
</dependency>

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-common</artifactId>
  <version>2.6.0-cdh5.13.0</version>
</dependency>

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-yarn-common</artifactId>
  <version>2.6.0-cdh5.13.0</version>
</dependency>

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-mapreduce-client-common</artifactId>
  <version>2.6.0-cdh5.13.0</version>
</dependency>

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-mapreduce-client-core</artifactId>
  <version>2.6.0-cdh5.13.0</version>
</dependency>
</dependencies>

<repositories>
<repository>
  <id>cloudera</id>
  <name>cloudera</name>
  <url>https://repository.cloudera.com/artifactory/cloudera- 
   repos/</url>
</repository>
</repositories>
<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-jar-plugin</artifactId>
            <configuration>
                <archive>
                    <manifest>

  <mainClass>com.hdfs_java_api.HadoopFileSystemCat</mainClass>
                    </manifest>
                </archive>
            </configuration>
        </plugin>
    </plugins>
</build>

As i said I'm noob so be patient and try to be as much clear as possible, thank you in advance!


person PdF    schedule 28.09.2018    source источник


Ответы (1)


Я думаю, вам не хватает основной библиотеки

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-core</artifactId>
    <version>0.20.2</version>
</dependency>

После этого убедитесь, что вы включили «Зависимости Maven» в путь сборки.

введите здесь описание изображения

И в сборке развертывания -

введите здесь описание изображения

person Ninad Pingale    schedule 28.09.2018
comment
Я добавил основную библиотеку, но выходит та же ошибка - person PdF; 28.09.2018
comment
Правильно ли он скачан? Используйте проект maven›update. - person Ninad Pingale; 28.09.2018
comment
Я сделал это, ничего не изменилось - person PdF; 28.09.2018
comment
Прежде всего, спасибо за ваше время, я включил зависимости Maven, но для второго шага отсутствовала сборка развертывания. Поэтому я добавил ‹nature›org.eclipse.wst.common.modulecore.ModuleCoreNature‹/nature› в свой файл .project, как описано здесь [stackoverflow.com/questions/8399885/, и она появилась, но произошла ошибка, которая сказал, что это не виртуальный проект, через какое-то время Eclipse рухнул. Возможно, мне нужно переустановить eclipse еще и потому, что это фотонная версия, а не EE. - person PdF; 28.09.2018
comment
Я думаю, вам следует следить за другими вещами, также предоставленными в этой ссылке другими пользователями stackoverflow.com/questions/8399885/ - person Ninad Pingale; 30.09.2018