У меня будет 200 миллионов файлов в моем кластере HDFS, мы знаем, что каждый файл будет занимать 150 байтов в памяти NameNode плюс 3 блока, так что в NN всего 600 байтов. Поэтому я установил в моей NN-памяти 250 ГБ для обработки 200 миллионов файлов. Мой вопрос в том, что такой большой объем памяти в 250 ГБ окажет слишком большое давление на сборщик мусора? Возможно ли создание 250GB памяти для NN.
Can someone just say something, why no body answer??
Идеальный размер памяти узла имени - это примерно общее пространство, используемое мета-данными + ОС + размер демонов и 20-30% пространства для обработки связанных данных.
Вы также должны учитывать скорость, с которой данные поступают в ваш кластер. Если у вас есть данные, поступающие со скоростью 1 ТБ / день, вы должны подумать о большем объеме памяти, иначе у вас скоро закончится память.
Всегда рекомендуется иметь не менее 20% свободной памяти в любой момент времени. Это поможет избежать попадания узла имени в полную сборку мусора. Как указал Марко ранее, вы можете ссылаться на конфигурацию сборки мусора NameNode : Рекомендации и обоснование конфигурации GC.
В вашем случае 256 выглядит хорошо, если вы не собираетесь получать много данных и не собираетесь выполнять много операций с существующими данными.
См .: Как спланировать емкость для кластера Hadoop?
См. Также: Выберите подходящее оборудование для своего нового кластера Hadoop
В вашем namenode может быть 256 ГБ физической памяти. Если ваши данные увеличиваются в огромных объемах, подумайте о федерации hdfs. Я предполагаю, что у вас уже есть многоядерные ядра (с гиперпоточностью или без) в имени узла узла. Предположите, что приведенная ниже ссылка решает ваши проблемы с GC: https://community.hortonworks.com/articles/14170/namenode-garbage-collection-configuration-best-pra.html
