Как использовать spark mllib в веб-проекте

Я пытаюсь использовать spark mllib.jar в веб-проекте. Я скачал spark-1.1.0-bin-hadoop2.4 и разархивировал. Есть несколько банок, найденных следующим образом:

datanucleus-api-jdi-3.2.1.jar

datanucleus-core-3.2.2.jar

datanucleus-rdbms-3.2.1.jar

искровая сборка-1.1.0-hadoop2.4.0.jar

искровые примеры-1.1.0-hadoop2.4.0.jar

Затем я использую spark-assembly-1.1.0-hadoop2.4.0.jar для импорта методов классификации. Его можно успешно запустить в проекте Java. Однако, когда я добавляю банку в SomeWebProject/web-inf/lib, появляются сообщения об ошибках:

validateJarFile ...\web-inf\lib\spark-assembly-1.1.0-hadoop2.4.0.jar jar not loaded. offending class:javax/servlet/servlet.class

Я знаю это, потому что класс javax.servlet моего веб-проекта дублируется с помощью spark jar. Я пытаюсь удалить javax.servlet искры. Это все еще не работает.

Не могли бы вы рассказать мне, как это понять

и

Могу ли я использовать другую искру для запуска mllib в локальном режиме. Эта банка слишком большая, и в ней около 132 mb, и я думаю, что некоторые из них бесполезны. Но я не могу найти другие доступные банки. Является ли эта банка единственным способом импортировать spark-mllib.jar? p.s. По некоторым причинам я не могу развернуть spark на своих серверах. Поэтому я не мог использовать среды Hadoop

Большое спасибо!!!


java apache-spark hadoop apache-spark-mllib
person DuFei    schedule 04.12.2014    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Если вы можете использовать maven, просто добавьте эти зависимости в свой pom.xml:

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>1.3.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-mllib_2.11</artifactId>
        <version>1.3.0</version>
    </dependency>
person Dave Moten    schedule 01.04.2015
comment
Большое спасибо. Это может быть очень полезно - person DuFei; 15.04.2015