Мои данные хорошо организованы по ключу раздела на Cassandra. Я хотел бы получить эти данные в Spark и сохранить те же разделы.
Моя цель - избежать очень большой перетасовки.
PS: я использую Cassandra 2.1 и Spark 1.5.
Получить данные раздела Cassandra в Apache Spark
comment
Вам придется уточнить... По умолчанию это то, что делает Spark Cassandra Connector.
- person RussS schedule 04.11.2015
comment
@RussS Вот что я хотел знать.
- person poiuytrez schedule 05.11.2015
Ответы (1)
Соединитель Spark Cassandra считывает диапазоны токенов C* в разделы Spark. Это означает, что все значения для любого заданного ключа раздела Cassandra будут находиться в одном и том же разделе Spark.
https://academy.datastax.com/demos/how-spark-cassandra-connector-reads-data
person
RussS
schedule
05.11.2015
