Риак против GlusterFS

Мне нужно настроить хранилище данных, которое может хранить файлы уровня PB (файлы в основном представляют собой небольшие файлы json, изображения и файлы csv, но некоторые из них могут быть двоичными файлами размером ~ 100 МБ).

Я изучаю распределенное хранилище данных, которое не является мастером и не имеет единой точки отказа.

И я нашел Riak и GlusterFS.

Я хочу спросить, кто-нибудь из вас использовал их оба раньше?

Я знаю, что там интерфейс (БД/Карта) сильно отличается. Но мне кажется, что они оба используют хеширование и аналогичные распределенные технологии. Будут ли они иметь аналогичную производительность, согласованность и доступность?


riak cluster-computing filesystems
person Eric Fong    schedule 13.12.2011    source источник
comment
У меня нет опыта работы с Riak, но производительность GlusterFS, вероятно, в конечном итоге заставит вас надеяться на большее. GlusterFS требует использования каналов RDMA между всеми серверами и клиентами для высокой производительности, потому что GlusterFS очень любит выполнять синхронизированные операции. Помимо производительности, GlusterFS — довольно хорошая система. GlusterFS особенно медленно делает списки каталогов с большим количеством файлов.   -  person Mikko Rantalainen    schedule 20.09.2019

Ответы (3)


arrow_upward
4
arrow_downward

Мы запускаем кластер Riak из 17 узлов (24 ГБ ОЗУ, диск 2T) с серверной частью Bitcask, в котором хранится около 1 миллиарда объектов размером 3k. Эта установка является производительной, но очень ресурсоемкой. Мы рассматриваем возможность перехода с Riak на GlusterFS, так как производительность не так уж важна для нас. Возможно, использование LevelDB в качестве серверной части также уменьшит наши опасения.

ATM свойства самовосстановления Riak кажутся более сильными, а конфигурация кажется немного проще. В вашем случае мне было бы удобнее хранить файлы размером 100 МБ в GlusterFS.

person harm    schedule 05.07.2012

arrow_upward
0
arrow_downward

Хранение больших файлов, таких как файлы размером 100 МБ, которые вы упомянули, было бы неправильным выбором для простого OSS Riak.

Что вам действительно следует использовать в этом случае, так это недавно анонсированный RiakCS http://basho.com/products/riakcs/ вместо Басё.

person Spyplane    schedule 03.04.2012

arrow_upward
0
arrow_downward

Выбор во многом зависит от требований. Как правило, я бы рекомендовал Riak, если вам на самом деле не нужна настоящая файловая система (с точками монтирования, управлением ACL и т. д.), и вы просто собираетесь использовать или обслуживать файлы программно, а в противном случае — GlusterFS.

person Ivan Blinkov    schedule 19.04.2012