Устойчивость HDFS к перезагрузке компьютера в DC/OS

В конце концов проблема была обнаружена в глючной версии пакета Universe HDFS для DC/OS. Однако в ближайшие несколько недель на Universe будет выпущен совершенно новый пакет HDFS для DC/OS.

https://dcos-community.slack.com/archives/data-services/p1485717889001709

https://dcos-community.slack.com/archives/data-services/p1485801481001734

Краткий обзор модели устойчивости HDFS для развертывания высокой доступности, подобного вашему:

• Два NameNodes образуют пару активный/резервный. В случае перезапуска активного компьютера система обнаруживает его сбой, и резервный становится новым активным. Как только машина завершает перезагрузку, процесс NameNode запускается снова, и он становится новым резервным сервером. Нет времени простоя, если оба узла NameNode не работают одновременно. Данные на хосте (например, файл метаданных fsimage) обычно сохраняются между перезапусками. Если это не так в вашей среде, вам потребуются дополнительные действия по восстановлению для повторной установки резервного сервера, например запуск команды hdfs namenode -bootstrapStandby.
• 3 узла журнала образуют кворум. В случае перезагрузки компьютера узел NameNode может продолжить запись своих транзакций журнала редактирования в оставшиеся 2 узла журнала. Как только машина завершает свой перезапуск, процесс JournalNode запускается снова, догоняет транзакции, которые он мог пропустить, а затем NameNode снова записывает во все 3. Нет времени простоя, если 2 или более узла журнала не работают одновременно. Если данные (например, файлы редактирования) не сохраняются при перезапусках, то перезапущенный узел журнала наверстает упущенное, скопировав его с работающего узла журнала.
• DataNodes в основном одноразовые. В случае перезагрузки компьютера клиенты будут перенаправлены на другие работающие узлы данных для операций чтения и записи (при типичном коэффициенте репликации, равном 3). Как только компьютер завершает перезагрузку, процесс DataNode запускается снова, и он может снова начать обслуживать трафик чтения/записи от клиентов. Простоя не бывает, если массовый одновременный сбой (крайне маловероятный и, вероятно, связанный с более серьезными проблемами центра обработки данных) не приводит к одновременному отключению всех узлов данных, на которых размещены реплики определенного блока. Если данные (каталог блочного файла) не сохраняются при перезапусках, то после перезапуска он будет выглядеть как новый DataNode, подключающийся к сети. Если это вызывает дисбаланс кластера, это можно исправить, запустив HDFS Balancer.