Вторичный индекс Cassandra против индексации DSE solr

Я хотел бы знать разницу в производительности для вторичного индекса Cassandra по сравнению с индексацией solr DSE, размещенной на CF.

У нас есть несколько CF, для которых мы не размещали вторичные индексы, потому что у нас сложилось впечатление, что вторичные индексы (в конечном счете) вызовут значительные проблемы с производительностью для CF с большим объемом операций чтения/записи. Мы пытаемся обратиться к Solr, чтобы разрешить поиск этих CF, но похоже, что загрузка схемы индекса изменяет CF, чтобы иметь вторичные индексы в интересующих столбцах.

Хотели бы знать, отличается ли индексация Solr от вторичной индексации Cassandra? И не вызовет ли это в конечном итоге медленные запросы (вставки/чтения) для CF с большими наборами данных и тяжелыми операциями чтения/записи? Если да, то не могли бы вы посоветовать пользовательскую индексацию (которой мы хотели избежать)? Кстати, мы также используем (пытаемся использовать) Solr для его пространственного поиска.

Спасибо за любые советы/ссылки, которые вы можете дать.


ОБНОВЛЕНИЕ: Чтобы лучше понять, почему я задаю эти вопросы, и убедиться, что я задаю правильный вопрос (вопросы), описание нашего варианта использования:

Мы собираем сенсорные события — много! Мы храним их как во временном ряду CF (EventTL), так и во временном ряду CF (Event). Поскольку мы много пишем (вставляем и обновляем) в Event CF, мы не размещаем никаких вторичных индексов. Наши запросы прямо сейчас ограничены отдельными событиями через Event или временным диапазоном событий через EventTL (если только мы не создадим дополнительные полные CF, чтобы разрешить запросы диапазона для других свойств событий).

В этом нам может помочь DSE (Solr+Cassandra). Мы думали, что использование поиска Solr позволит нам избежать создания дополнительных толстых CF, позволяющих выполнять поиск по другим свойствам событий, И позволит нам выполнять поиск по нескольким свойствам одновременно (местоположение + текст/свойства). Однако, глядя на то, как изменяется определение Event CF после добавления схемы индекса для Event через Solr, видно, что были созданы вторичные индексы. Это приводит к вопросу о том, будут ли эти индексы создавать проблемы для вставки/обновления строк в Event (в конечном итоге). Нам нужна возможность вставлять новые события «быстро», потому что потенциально события могут поступать со скоростью 1000+ в секунду.


person jimnkey    schedule 24.09.2013    source источник


Ответы (2)


Поскольку ваш вариант использования - пространственный поиск, я не думаю, что функция вторичного индекса Cassandra вам подойдет. Вот довольно краткая статья о вторичных индексах, которая может оказаться полезной: http://www.datastax.com/docs/1.1/ddl/indexes

Вы должны быть в состоянии сделать это с Solr.

Вот пост, который должен быть актуален для вас:

http://digbigdata.com/geospatial-search-cassandra-datastax-enterprise/

person Ike Walker    schedule 24.09.2013
comment
Что ж, если мне не сказали иное, я должен предположить, что вторичная индексация DSE Solr+Cassandra почти такая же, как «просто» Cassandra. В этом случае мой вариант использования может не соответствовать правильному использованию вторичных индексов для моего большого набора (ов) данных из-за того, что сказано в вашей первой ссылке - «Когда НЕ использовать ...». Не уверен, куда идти отсюда, но спасибо за ссылки. - person jimnkey; 11.11.2013

Хотели бы знать, отличается ли индексация Solr от вторичной индексации Cassandra?

Поиск DSE использует API вторичного индексирования Cassandra.

И не вызовет ли это в конечном итоге медленные запросы (вставки/чтения) для CF с большими наборами данных и тяжелыми операциями чтения/записи?

Планирование емкости Lucene и Solr — хорошая идея до превышения оптимального порога производительности данного кластера серверов.

Если да, то не могли бы вы посоветовать пользовательскую индексацию (которой мы хотели избежать)? Кстати, мы также (пытаемся использовать) Solr для его пространственного поиска.

Поисковые запросы DSE выполняются так же быстро, как и запросы Apache Solr.

person Rock Brain    schedule 25.09.2013