Установка Hadoop в облаке Amazon

Я новичок в Hadoop, мне нравится входить в административную строку Hadoop, поэтому я изучил основы Hadoop и попытался установить Hadoop в режиме псевдораспространения, успешно установил и запустил несколько базовых примеров, теперь мне нужно еще больше улучшить себя, поэтому мне нужно попробуйте способ изучить установку и настройку Hadoop в режиме реального времени, поэтому решил использовать микроэкземпляр Amazon. Может ли кто-нибудь рассказать, как установить и настроить Hadoop в облаке Amazon. Заранее спасибо.


person user2631600    schedule 28.03.2014    source источник


Ответы (1)


Я пробовал это лично, и вы не сможете использовать hadoop на одном микроэкземпляре из-за ограничений памяти. ИМХО, вы должны хотя бы попробовать средний экземпляр для запуска Hadoop или, что еще лучше, использовать их API elastic-mapreduce, который является модифицированной версией Hadoop. Вы можете запустить кластер из 3 узлов примерно за 00,25 цента в час. Если вы действительно хотите изучать большие данные, я пошел именно по этому пути.

Вам следует ознакомиться с их документацией здесь
http://aws.amazon.com/documentation/elasticmapreduce/

person Chris Hinshaw    schedule 16.06.2014