Кластер Hadoop настроен с выпуском 0.23 (MRv2 или NextGen MR)

Как я вижу, последняя стабильная версия Hadoop — 0.20.x. Последняя версия — 0.23.. Кажется, есть много изменений от .20. до 0.23.x.

Мы можем настроить небольшой кластер со стабильной версией (0.20.2) и попрактиковаться в программировании mapreduce.

Мы видели много новых API, добавленных в 0.23.x. Чтобы изучить 0.23.x, нам нужно настроить кластер также с выпуском 0.23.x.

Не могли бы вы, ребята, указать нам документацию, где мы можем настроить кластер с выпуском 0.23.x.

кажется, что 0.23.x полностью отличается от 0.20.x, когда я распаковываю файл tar. Пожалуйста, дайте нам ссылку на какую-нибудь книгу/документ, где настройка кластера упоминается с самого начала.

Спасибо МРК


hadoop mrv2
person MRK    schedule 12.12.2011    source источник
comment
Примите несколько ответов, и мы дадим вам несколько ссылок...   -  person Thomas Jungblut    schedule 12.12.2011
comment
Я знаю, что все заняты, даже другие, чтобы ответить на ваш запрос. Но я думаю, что должна быть минимальная попытка (я не говорю потратить час), чтобы убедиться, что заголовок запроса и фактический запрос правильно написаны и отформатированы. Это расскажет другим, что вы потратили время и силы на то, чтобы задать вопрос, и заставит их опубликовать ответ. Кроме того, как упомянул Томас, если вы считаете, что ответ правильный, проголосуйте и примите его, и вы получите лучшие ответы. Сообщество похоже на двустороннюю линию, чем больше вы участвуете, тем больше откликов вы получите. Только мой 2с.   -  person Praveen Sripati    schedule 13.12.2011

Ответы (2)


arrow_upward
2
arrow_downward

Основное различие между версией 0.23 и версией до 0.23 заключается в том, что в версии 0.23 управление ресурсами и управление жизненным циклом приложения были разделены. Версия Pre-0.23 позволяла запускать только приложения MapReduce, но версия 0.23 позволяет запускать и другие приложения, помимо MapReduce. Уже портированы Hama, Giraph и некоторые другие приложения, портирование MPI продолжается.

Мы видели много новых API, добавленных в 0.23.x. Чтобы изучить 0.23.x, нам нужно настроить кластер также с выпуском 0.23.x.

В пользовательском API не было никаких различий, поэтому существующие приложения должны работать без каких-либо изменений кода, но требуются изменения файла конфигурации. Версия 0.23 обратно совместима с точки зрения API.

Вот сводный список архитектуры MRv2, видео, статей и т. д. Я постараюсь обновлять их по мере появления новой информации.

http://www.thecloudavenue.com/p/mrv2resources.html

person Praveen Sripati    schedule 13.12.2011

arrow_upward
0
arrow_downward

Это официальная документация по настройке кластера в r0.23.0:

http://hadoop.apache.org/common/docs/r0.23.0/hadoop-yarn/hadoop-yarn-site/ClusterSetup.html

person Donald Miner    schedule 12.12.2011