Как запустить Hadoop в кластере Mesos?

Цель Mesos — запустить абстракцию для вашего кластера, где Hadoop будет всего лишь 1 службой среди других. Чтобы это заработало, вам нужно сначала настроить свой кластер Mesos в качестве основного компонента, а затем вы можете начать добавлять такие сервисы, как Hadoop, в этот кластер, используя абстракцию Mesos.

Существует отличный учебник от Mesosphere, на который вам стоит взглянуть, и он объясняет в деталях, как запустить Hadoop поверх Mesos, так что это было бы хорошим местом для начала.

Кроме того, эта компания недавно запустила сервис для Elastic Mesos, аналогичный Elastic MapReduce от Amazon. Поэтому, если вы хотите быстро приступить к работе с Hadoop на Mesos, не мучаясь при настройке всего, это хорошее место для начала.

После того, как вы настроили и запустили кластер mesos так, что ведомые устройства отображаются в веб-интерфейсе Mesos, вы можете добавить к нему hadoop, выполнив следующие шаги:

1. Сначала вам нужно настроить HDFS. Распространение Hadoop от Cloudera — это простой способ сделать это. Просто следуйте инструкциям в этом ссылка для настройки. Это автоматически настроит учетные записи пользователей для запуска заданий MapReduce.
2. Вам просто нужно, чтобы namenode работал на вашем мастере, а datanode — на ведомых. Перейдя к localhost:50070, вы увидите, что namenode запущен и работает, а также предоставит список работающих узлов данных. Вам пока не нужны тасктрекеры или джобтрекеры
3. Затем, чтобы интегрировать hadoop на mesos, перейдите в этот репозиторий github. Скопируйте его на свой компьютер и следуйте инструкциям в файле Readme.
4. К этому времени на вашем мастере будет запущен джобтрекер. Перейдите к localhost:50030, чтобы увидеть, что средство отслеживания заданий запущено. Вам не нужны тасктрекеры на ваших рабах. Mesos автоматически запустит их для вас, используя файл tar, который вы загрузили в HDFS.

Также вы можете обратиться к учебнику по мезосфере, если у вас есть какие-либо сомнения. Просто не выполняйте все приведенные здесь шаги, так как они не относятся к последним версиям Mesos.