Вопросы по теме 'namenode'
каков фактический идеальный размер памяти NameNode при большом количестве файлов в HDFS
У меня будет 200 миллионов файлов в моем кластере HDFS, мы знаем, что каждый файл будет занимать 150 байтов в памяти NameNode плюс 3 блока, так что в NN всего 600 байтов. Поэтому я установил в моей NN-памяти 250 ГБ для обработки 200 миллионов файлов....
253 просмотров
schedule
30.05.2023
Управление блоками Namenode
Предположим, у меня есть файл размером 50 МБ, а размер блока HDFS по умолчанию — 64 МБ. Таким образом, после сохранения этого файла размером 50 МБ у нас остается размер блока 14 МБ, который можно использовать для хранения какого-либо другого файла....
236 просмотров
schedule
13.04.2023
В чем разница между NameNode и NameSpace
Как новичок в Hadoop, я путаюсь между NameNode и Namespace. Насколько я понимаю, оба они имеют одинаковую функциональность, и оба они содержат метаданные.
Есть ли между ними разница?
656 просмотров
schedule
06.10.2023
Namenode не запускается
Я пытаюсь настроить кластер Hadoop. Но namenode не запускается. Когда я проверяю журналы, он показывает:
2016-10-19 05:23:10,140 FATAL org.apache.hadoop.hdfs.server.namenode.
NameNode: не удалось запустить namenode....
374 просмотров
schedule
15.07.2023
Процесс перезапуска Namenode в IBM BigInsights (включен GPFS — уровень прозрачности HDFS)
Я работаю над дистрибутивом IBM Hadoop (BigInsights), который был установлен с использованием Apache Ambari, и в настоящее время в нем включена GPFS (общая параллельная файловая система) в качестве уровня прозрачности HDFS. В Ambari мы включили режим...
190 просмотров
schedule
30.05.2023
NameNode в hadoop не работает и нет доступа к (http://localhost:50030)
Я использую автономный режим Hadoop 1.2.1. Когда я использую команду jps, вывод:
2528 TaskTracker 3044 Jps 2380 JobTracker 2140 DataNode 2286 SecondaryNameNode
Нет запущенного NameNode, я не знаю почему?..
И когда я пытаюсь открыть...
104 просмотров
schedule
27.06.2022
Ошибка завершения работы Namenode — выход со статусом 0 (установка Hadoop)
Я пытаюсь заставить работать Hadoop-2.8.1. Я запускаю команду для настройки Namenode. Однако Namenode отключается, когда я запускаю его из каталога Hadoop.
***********s-MacBook-Pro-2:~ ***********$ cd Downloads/hadoop-2.8.1...
1860 просмотров
schedule
18.10.2022
Hadoop — DataNode и Namenode не запускаются
Я установил Hadoop на Ubuntu, но когда я запускаю скрипт ./start-all.sh в папке sbin, DataNode и Namenode не запускаются. У меня есть следующие настройки в файлах конфигурации:
основной-сайт.xml
<configuration>
<property>...
232 просмотров
schedule
23.09.2022
Невозможно запустить Hadoop (3.1.0) в псевдомоде на Ubuntu (16.04)
Я пытаюсь следовать руководству по началу работы с веб-сайта Hadoop Apache, в частности из распределенной конфигурации Pseudo, Руководство по началу работы с Apache Hadoop 3.1.0
но я не могу запустить узлы имен и данных Hadoop. Кто-нибудь может...
544 просмотров
schedule
05.12.2022
Namenode Hadoop не начинается с кода выхода 1
prateek@prateek:~$ start-dfs.sh
Starting namenodes on [localhost]
pdsh@prateek: localhost: ssh exited with exit code 1
Starting datanodes
Starting secondary namenodes [prateek]
prateek@prateek:~$ jps
11011 SecondaryNameNode
10787 DataNode
11161 Jps...
3433 просмотров
schedule
12.04.2024
Как получить показатели использования памяти из Hadoop ResourceManager
У меня есть кластер dataproc, работающий в облаке Google, с 3 главными узлами и 40 рабочими узлами. Я использую hadoop ResourceManager для мониторинга приложений и других показателей, таких как использование очередей, использование памяти, работа...
506 просмотров
schedule
20.01.2023
Как отследить событие смены активного Namenode HDFS в NiFi?
У меня есть кластер HDFS с активными и стандартными именами. Иногда при перезапуске кластера Namenodes меняют свои роли - резервный становится активным, и наоборот.
Затем у меня есть поток NiFi с процессором PutParquet, который записывает...
556 просмотров
schedule
17.08.2022
ошибка hadoop 3.1.2 ./start-all.sh, синтаксическая ошибка рядом с неожиданным токеном `‹'
Я запускаю Hadoop 3.1.2 на Mac, и при выполнении ./start-all.sh я получаю сообщение об ошибке
Starting namenodes on [localhost]
/usr/local/Cellar/hadoop/3.1.2/libexec/bin/../libexec/hadoop-functions.sh: line 398: syntax error near unexpected token...
475 просмотров
schedule
25.11.2022
Как я могу решить эту проблему с Hadoop core-site.xml?
Я использую Hadoop-2.7.6 и хочу собрать полностью распределенную версию. Я дал 3 сервера виртуальных машин, и они могут использовать только порт 32222.
В /etc/hosts,
1xx.xxx.xxx.xx1 namenode
1xx.xxx.xxx.xx2 slave1
1xx.xxx.xxx.xx3 slave2...
110 просмотров
schedule
13.06.2024
conn_id воздушного потока с несколькими серверами
Я использую WebHDFSSensor, и для этого нам нужно предоставить namenode. Однако активный namenode и резервный namenode изменяются. Я не могу просто указать текущий хост namenode для webhdfs_conn_id. Мне нужно создать соединение с обоих хостов. Я...
119 просмотров
schedule
07.08.2023
кластер hadoop с активным резервным именем node + пробел в журнале редактирования
у нас есть кластер амбари, версия HDP 2.6.5
кластер включает управление двумя name-узлами (один активен, а вторичный - резервный)
и 65 машин с датанодом
у нас есть проблема с резервным name-node, который не запущен, и из журналов namenode мы...
199 просмотров
schedule
17.01.2023
