Реализация Apache Ignite CEP с большими наборами данных

Нам нужен механизм CEP, который может работать с большими наборами данных, поэтому я просмотрел альтернативы, такие как FLink, Ignite и т. д.

Когда я был на Ignite, я увидел, что API запросов Ignite недостаточно подходит для работы с большими данными. Причина в том, что такой объем данных не может быть сохранен в кэше (недостаточный объем памяти: требуется 2 ТБ). Я просмотрел сквозную запись и чтение, но полезные данные (не ключ) не запрашиваются с помощью предикатов (например, SQLPredicate).

У меня вопрос: я что-то упускаю или это действительно так?

Спасибо


ignite complex-event-processing
person Neron    schedule 29.07.2016    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Ignite — это система с памятью по дизайну. Кэш-хранилище (сквозное чтение/сквозная запись) позволяет хранить данные на диске, но запросы работают только с данными в памяти.

столько данных не может быть сохранено в кеше (недостаточный объем памяти: требуется 2 ТБ)

Почему нет? Ignite — это распределенная система, можно построить кластер с более чем 2 ТБ комбинированной оперативной памяти.

person Pavel Tupitsyn    schedule 29.07.2016
comment
Я знаю, что он сгруппирован, но нехватка памяти связана с финансовыми ограничениями. Я думаю, что это не очень хорошее решение, такое как Apache Flink в этом состоянии. - person Neron; 29.07.2016