Если у меня уже установлен Hadoop, следует ли загружать Apache Spark С Hadoop или БЕЗ Hadoop?

У меня уже установлено Hadoop 3.0.0. Должен ли я теперь установить с hadoop или без hadoop версию Apache Spark с этой страницы?

Я следую этому руководству, чтобы начать работу с Apache Spark.
Это говорит

Загрузите последнюю версию Apache Spark (предварительно созданную в соответствии с вашей версией Hadoop) по этой ссылке:...

Но я в замешательстве. Если у меня уже есть экземпляр Hadoop, работающий на моем компьютере, а затем я загружаю, устанавливаю и запускаю Apache-Spark-WITH-Hadoop, не запустит ли он еще один дополнительный экземпляр Hadoop?


apache-spark hadoop hadoop3
person JBel    schedule 30.01.2018    source источник

Ответы (2)


arrow_upward
5
arrow_downward

Во-первых, насколько я знаю, Spark пока не поддерживает Hadoop 3. Вы заметите это по тому, что для "вашей версии Hadoop" нет доступной для скачивания опции.

Вы можете попробовать установить HADOOP_CONF_DIR и HADOOP_HOME в вашем spark-env.sh, независимо от того, что вы загружаете.

Вы всегда должны загружать версию без Hadoop, если она у вас уже есть.

не запустит ли он еще один дополнительный экземпляр Hadoop?

Нет. Вам все равно нужно будет явно настроить и запустить эту версию Hadoop.

Эта опция Spark уже настроена для использования включенного Hadoop, я полагаю

person OneCricketeer    schedule 30.01.2018

arrow_upward
5
arrow_downward

Это в дополнение к ответу @cricket_007.

Если у вас установлен Hadoop, не загружайте spark с помощью Hadoop, однако, поскольку ваша версия Hadoop по-прежнему не поддерживается ни одной из версий spark, вам необходимо загрузить версию с Hadoop. Тем не менее, вам нужно будет настроить версию Hadoop в комплекте на вашем компьютере для запуска Spark. Это будет означать, что все ваши данные на Hadoop 3 будут ПОТЕРЯНЫ. Итак, если вам нужны эти данные, сделайте резервную копию данных перед началом перехода на более раннюю версию/изменения конфигурации. Я не думаю, что вы сможете разместить 2 экземпляра Hadoop в одной системе из-за определенных переменных среды.

person MozenRath    schedule 30.01.2018