Настройка Hadoop с помощью Cloudera Manager в корпоративном облаке

У меня есть корпоративная облачная среда, которая позволяет мне создать 4 виртуальные машины с довольно высокой конфигурацией (например, 16 ГБ ОЗУ и 130 ГБ дискового пространства). Я пытаюсь создать кластер Hadoop и столкнулся с проблемами. ОС RHEL 6.4 Из 130 гигов вот дф

Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/mapper/rootvg-root
                       5160576   1454056   3444376  30% /
tmpfs                  8167172         0   8167172   0% /dev/shm
/dev/sda1               516040     40876    448952   9% /boot
/dev/mapper/local1vg-vol_01
                     123789284    683164 116817944   1% /vol_01

Я думаю, когда я начинаю устанавливать посылки, «/» и «/ boot» заполняются, и менеджер cloudera зависает.

Одно из решений, которое я пробовал, заключалось в том, чтобы переместить / tmp в / vol_01 и сделать / tmp ссылкой на / vol_01 / tmp, это немного улучшило ситуацию ... но тогда / var занимал много места. Я не могу переместить /var в /vol_01, так как он используется ОС (думаю... не удается переместить некоторые папки из /var). Теперь эти точки монтирования предопределены... как часть образа. Любое решение, которое я могу попросить Cloudera Manager установить по-другому или изменить мою виртуальную машину определенным образом ...?

Мне известны такие решения, как остановка всех служб перед перемещением /var в /vol_01/var, чтобы все файлы были скопированы.

  • lvextend -L +10G /dev/mapper/vg00-var
  • гну расстались
  • фстаб

Я пойду в указанном выше порядке, чтобы найти лучшее решение и опубликовать результат.


linux cloudera cloudera-manager
person javadevg    schedule 18.12.2013    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Возможно, вам придется перейти в однопользовательский режим, чтобы переместить каталог /var. Выполнимо, но многие демоны, например, используют /var/run

person Rico    schedule 18.12.2013
comment
Идея с одним пользователем сработала бы, если бы виртуальная машина была доступна локально. Поскольку это облачная виртуальная машина, после перехода в однопользовательский режим она не будет доступна по сети, следовательно, это не выполнимое решение. Большое спасибо за вашу попытку. - person javadevg; 18.12.2013
comment
Если у вас нет доступа к консоли, вам придется сделать это, как вы только что описали. Остановите все службы, кроме сетевых, и скопируйте /var в место, где больше места. - person Rico; 18.12.2013