Хола! Инженеры представляют новый блог о настройке всего кластера Hadoop в системе с помощью очень зрелого инструмента автоматизации под названием Ansible. Это очень известный инструмент, который можно использовать для управления конфигурацией, подготовки, автоматизации, интеграции и для многих других целей, а также практически для других технологий, которые определены в современном мире.
Если кто-то очень плохо знаком с Ansible, он может пройти через этот блог, упомянутый ниже.
Итак, приступим к созданию установки.
ПРИМЕЧАНИЕ. Я предоставлю ссылку на репозиторий GitHub после завершения блога. Вы можете получить код или взять ссылку оттуда.
Для настройки Ansible и в качестве демонстрации можно воспользоваться ссылкой в блоге, указанном ниже.
ГЛАВНЫЙ УЗЕЛ HADOOP
Сначала мы настроим мастер-узел Hadoop через Ansible, для которого мы собираемся создать плейбук, как показано ниже.
Я буду объяснять плейбук как небольшие части, чтобы можно было понять код.
1. ЛОКАЛЬНЫЙ ХОСТ
Приведенный выше синтаксис используется, чтобы сообщить Ansible, где выполнять настройку. Здесь localhost означает операцию, выполняемую в локальной системе.
2. Картинка в картинке
Приведенный выше синтаксис использует задачи, что означает операции, которые должны выполняться Ansible.
pip — это модуль, который установит модуль python через Ansible.
имя используется для имени модуля Python, который необходимо установить.
state используется, чтобы сообщить Ansible, что делать с модулем Python, следует ли установить или удалить его. Здесь используется gdown, который загружает программное обеспечение с Google Диска.
3. КОМАНДА
В приведенном выше синтаксисе модуль command предназначен для запуска той команды, которую мы должны выполнить вручную для выполнения требования. В этом случае gdown используется для загрузки программного обеспечения и rpm для установки программного обеспечения.
— — id — аргумент, который принимает ссылку для скачивания программы с Google Диска.
— — вывод — это аргумент, используемый для переименования загруженного файла и его имени, как написано в выходном аргументе.
rpm — это менеджер пакетов, который используется для установки программного обеспечения.
Вот в этом случае мы загрузили и установили в систему программное обеспечение Hadoop и JDK.
4. ФАЙЛ
В этом синтаксисе используется файловый модуль ansible, который используется либо для создания каталога, файла, либо для удаления файла или папки.
state используется, чтобы сообщить ansible, следует ли создать или удалить каталог или файл.
путь используется, чтобы указать путь к файлу или папке, которые нужно создать или удалить в системе.
Здесь создается каталог /nn и удаляются два файла core-site и файл hdfs-site.xml.
5. КОПИРОВАТЬ
В этом синтаксисе используется модуль копирования, который позволяет нам копировать содержимое из источника в место назначения, указанное в аргументах, как показано выше.
src используется в модуле, так как он принимает исходное местоположение или путь к файлу, который необходимо скопировать.
dest используется в модуле, так как принимает местоположение назначения или путь к копируемому файлу.
Вот код для core-site.xml
Вот код для hdfs-site.xml
6. СТАРТ ХАДООП
В этом синтаксисе снова используется командный модуль, и мы только что отформатировали и запустили узел Hadoop Name.
Теперь playbook настроен и готов к выполнению. Мы можем запустить playbook с помощью команды, показанной ниже.
ansible-playbook ‹имя файла›.yml
Вы можете проверить, работает ли главный узел Hadoop, с помощью команды jps, как показано ниже.
Теперь главный узел Hadoop установлен и запущен. Перейдем к ведомому узлу Hadoop.
ПОДЧИНЕННЫЙ УЗЕЛ HADOOP
Ведомый узел включает в себя ту же процедуру, что и в ведущем узле.
Изменения
1. Хост
Теперь хост — это удаленные IP-адреса, которые будут подчиненными узлами в кластере Hadoop.
2. Имя каталога
Имя изменено на dn (можно дать любое имя).
3. Основной-сайт.xml
4. Hdfs-сайт.xml
5. Начало хадупа
Мы не форматируем узел данных. мы просто начинаем со следующей команды.
В остальном все то же самое. Можно продолжить и выполнить файл так же, как это делается с главным узлом Hadoop, а также показано ниже.
Плейбук успешно выполнен.
Можно проверить с помощью команды jps, как показано ниже.
Теперь также можно проверить с помощью команды hadoop dfsadmin -report, как показано ниже.
Теперь кластер Hadoop настроен и готов к использованию.
