Эффективен ли куратор Apache?

У меня есть общее представление о том, чем занимаются Curator и Zookeeper. Однако я не знаю, управляют ли они информацией в памяти или на диске. Например, «рецепты» для барьера или распределенной очереди предлагают открыть узел (узел — это файл?) по определенным путям; эти узлы хранятся в памяти или это файлы на диске / HDFS? Я думаю, что традиционные барьеры между машинами теперь нужно делать через кураторский барьер; следовательно, не будут ли эти операции медленными, если они связаны с тяжелыми операциями?

Чем барьер Curator отличается от традиционного барьера MPI с точки зрения производительности?


distributed-computing distributed-system apache-zookeeper mpi apache-curator
person JhnElaine    schedule 10.07.2015    source источник

Ответы (1)


arrow_upward
3
arrow_downward

ZooKeeper — это система с одним лидером, основанная на кворуме, поэтому, хотя она и хранит состояние в памяти, она ограничена пропускной способностью, которую может поддерживать лидер. Все изменения состояния в ZooKeeper проходят через лидера, синхронно реплицируются и сохраняются на большинстве узлов, но чтение может выполняться на любом узле.

В ZooKeeper узел (или znode) относится к части состояния, которая хранится в памяти и поддерживается диском. Он использует файловый интерфейс, но znodes не сопоставляются с отдельными файлами. Диск не означает HDFS, это, по сути, означает журнал фиксации.

Что вы получаете, используя ZooKeeper для замков или барьеров, так это линеаризуемость. Стоимость согласованности относительно высока из-за ограничений консенсуса (кворумов). Но у ZooKeeper есть отличная система уведомлений о событиях, которая помогает повысить производительность таких вещей, как замки и барьеры.

person kuujo    schedule 10.07.2015