Может ли arangodb обрабатывать 20 миллиардов записей?

Я просто хочу знать, может ли Arangodb обрабатывать 20 миллиардов записей в одной коллекции?

Как лучше всего вставить 1 миллиард записей за раз?


arangodb arangodb-php
person Yash Pandya    schedule 19.11.2018    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Конечно. Базовым механизмом хранения определенно должен быть RocksDB. Насколько большим в среднем будет каждый отдельный документ?

Лучшим способом будет любой вид импорта/восстановления. Будет ли это развертывание кластера или одного сервера?

person Kaveh Vahedipour    schedule 20.11.2018
comment
Отдельный документ может иметь размер 1 кб. В настоящее время я использую его как отдельный сервер и mmfiles в качестве механизма хранения. - person Yash Pandya; 20.11.2018
comment
MMFiles не подходит, если вы не планируете покупать 20 экзабайт оперативной памяти. Производительность отображаемых в память файлов стремится к нулю, когда размер данных, включая индексы, не соответствует размеру ОЗУ. - person Kaveh Vahedipour; 20.11.2018
comment
Спасибо за ответ. Вы предложили лучший способ вставки записей — импорт/восстановление, но чтобы использовать все мои данные, они должны быть готовы перед вставкой, верно? Предположим, что мои данные генерируются во время выполнения с использованием какого-то скрипта, что в это время мне следует использовать? - person Yash Pandya; 22.11.2018
comment
Абсолютно. Обязательно вставьте все свои данные. - person Kaveh Vahedipour; 22.11.2018