Как функция высокой доступности Hadoop HDFS влияет на теорему CAP?

Судя по всему, что я читал о теореме CAP, ни одна распределенная система не может обеспечить все три из следующих характеристик: доступность, согласованность и устойчивость к разделам.

Теперь в Hadoop 2.x появилась новая функция, которую можно настроить для устранения единой точки отказа, которая была у кластеров Hadoop (единственный узел имен). Благодаря этому кластер становится высокодоступным, согласованным и устойчивым к разделам. Я прав? Или я что-то упускаю? Согласно CAP, если система пытается предоставить все три функции, она должна расплачиваться за задержку. Добавляет ли новая функция эту задержку в кластер? Или Hadoop раскрыл теорему CAP?


hadoop availability cap-theorem
person Deleteman    schedule 10.03.2015    source источник

Ответы (2)


arrow_upward
5
arrow_downward

HDFS не обеспечивает доступность в случае нескольких коррелированных сбоев (например, трех отказавших узлов данных с одним и тем же блоком HDFS).

Из Путаница с CAP: проблемы с допуском на разделы

Такие системы, как ZooKeeper, явно последовательно согласованы, потому что в кластере мало узлов, поэтому стоимость записи в кворум относительно невелика. Распределенная файловая система Hadoop (HDFS) также выбирает согласованность - три отказавших узла данных могут сделать блоки файла недоступными, если вам не повезло. Обе системы предназначены для работы в реальных сетях, однако, где будут возникать разделы и отказы, и когда они это сделают, обе системы станут недоступными, сделав свой выбор между согласованностью и доступностью. Этот выбор остается неизбежной реальностью для распределенных хранилищ данных.

person Andrey Sozykin    schedule 10.03.2015

arrow_upward
2
arrow_downward

Высокая доступность HDFS делает HDFS более доступной, но не полностью. Если сетевой раздел не позволяет клиенту взаимодействовать ни с одним из NameNode, кластер фактически недоступен.

person Jeremy Beard    schedule 10.03.2015