Как Erasure Coding используется в hadoop3 и как с его помощью достигается отказоустойчивость?

Согласно примечаниям к выпуску Hadoop 3.x, они ввели Erasure coding для решения проблем с хранилищем.

Erasure coding, новая функция HDFS, может снизить нагрузку на хранилище примерно на 50 % по сравнению с репликацией, сохраняя при этом те же гарантии надежности.

может ли кто-нибудь объяснить мне, как кодирование Erasure используется отказоустойчивым способом с меньшим объемом памяти?


person Manindar    schedule 04.07.2017    source источник
comment
У них есть целая статья, посвященная этому. Вы можете прочитать это здесь: hadoop.apache. org/docs/current/hadoop-project-dist/hadoop-hdfs/   -  person philantrovert    schedule 04.07.2017


Ответы (1)


Чтобы понять, как HDFS Erasure Coding работает и уменьшает объем памяти.

См.: «Введение в Кодирование стирания HDFS в Apache Hadoop».

person CHEEKATLAPRADEEP-MSFT    schedule 05.07.2017