Данные конфигурации logstash могут иметь несколько входных и выходных данных. Какие соображения влияют на решения относительно количества индексов, которые должны быть сохранены в качестве выходных данных в эластичном поиске, если я использую ввод твиттера в logstash?
Должен ли я иметь 1 индекс для каждой отслеживаемой учетной записи, 1 для тега или ключевого слова, или есть другие соображения, которые могут повлиять на дизайн?
В эластичном поиске есть накладные расходы для каждого открытого индекса, поэтому каждый из них будет потреблять HEAP.
Обычно в индекс помещают более одного типа документа (для этого и предназначено поле [type]). Обратите внимание, что в elasticsearch v2 все поля с одинаковыми именами должны иметь одинаковое сопоставление ("myField", если строка одного типа, всегда должна быть строкой).
Шарды имеют рекомендуемый верхний предел размера, около 60 ГБ IIRC.
Наконец, организуйте свой индекс так, чтобы обеспечить соблюдение вашей политики хранения было легко. Если все хранится в течение 7 дней, то дневной индекс будет работать хорошо. Используйте «куратор» для удаления старых индексов.
Я предпочитаю делать меньшее количество больших индексов.
