Распределенный Erlang и riak-core: как масштабируется сетка для больших кластеров?

Использование распределенного Erlang создает ячеистую сеть между всеми узлами, которая плохо масштабируется до сотен узлов. Как riak-core справляется с этим?

Разве он не использует распределенный Erlang (установите -connect_all=false и используйте собственный протокол для связи между узлами riak)? При беглом взгляде на код не похоже, что они это делают.


person Harish    schedule 24.09.2012    source источник


Ответы (1)


Я считаю, что они рекомендуют ограничить кластер до 100 узлов, но сейчас я не могу найти ссылку.

В кластерах более 100 узлов пинг-шум будет составлять значительную часть сетевого трафика. Даже более крупные развертывания требуют глубоких изменений в Erlang VM и ОС.

Вот ссылка на планирование емкости кластера из их вики: http://wiki.basho.com/Cluster-Capacity-Planning.html

person user425720    schedule 25.09.2012
comment
На странице планирования емкости не упоминается верхний предел размера кластера. Но они говорят, что кластер riak среднего размера составляет около 18 узлов. Итак, я предполагаю, что ничего, кроме 100 узлов, не предпринималось. - person Harish; 26.09.2012
comment
о нет, есть даже сообщение в блоге от сотрудника basho со сценарием для развертывания 100 узлов на EC2. Но одно дело развернуть, другое дело использовать. reiddraper.com/100-node-riak-cluster - person user425720; 26.09.2012
comment
Кластеры Erlang подходят для 125-175 узлов, хотя проводятся исследования, направленные на то, чтобы сделать их намного более масштабируемыми release-project.eu - person Sam Elliott; 27.09.2012