Вопросы по теме 'spark-cassandra-connector'
Ошибка при запуске приложения Spark с использованием разъема Spark-Cassandra
Я написал базовое приложение Spark, которое читает и записывает в Cassandra, следуя этому руководству ( https://github.com/datastax/spark-cassandra-connector/blob/master/doc/0_quick_start.md )
Вот как выглядит .sbt для этого приложения:
name :=...
537 просмотров
schedule
05.06.2022
Как преобразовать вложенный класс case в тип UDTValue
Я изо всех сил пытаюсь использовать пользовательские классы case для записи в Cassandra (2.1.6) с помощью Spark (1.4.0). До сих пор я пробовал это, используя DataStax spark-cassandra-connector 1.4.0-M1 и следующие классы case:
case class...
1208 просмотров
schedule
28.05.2024
проблема с соединителем искры cassandra в java
Я пытаюсь запросить cassandra из искры в java. Ниже приведен код для получения данных, но метод mapToRow принимает два параметра. первый — это класс, а второй — ColumnMapper. Как получить экземпляр класса ColumnMapper в java. Погуглив, он...
700 просмотров
schedule
19.05.2022
Метод обертывания Scala для параметризованного класса (spark-cassandra-connector)
Я пишу набор методов, расширяющих API Spark RDD. Мне нужно реализовать общий метод хранения RDD, и для начала я попытался обернуть saveAsCassandraTable spark-cassandra-connector, но безуспешно.
Вот часть «расширение API RDD»:
object...
1150 просмотров
schedule
20.02.2023
нужна помощь в присоединении к Spark RDD в Java
Необходимо выполнить следующую операцию соединения в искре
JavaPairRDD<String, Tuple2<Optional<MarkToMarketPNL>, Optional<MarkToMarketPNL>>> finalMTMPNLRDD = openMTMPNL.fullOuterJoin(closedMTMPNL);
Для выполнения этой...
1276 просмотров
schedule
07.02.2023
разъем spark datasax cassandra медленно читает из тяжелой таблицы cassandra
Я новичок в Spark/Spark Cassandra Connector. Мы впервые пробуем искру в нашей команде, и мы используем коннектор искры cassandra для подключения к базе данных cassandra.
Я написал запрос, который использует тяжелую таблицу базы данных, и я увидел,...
2717 просмотров
schedule
16.02.2023
Как выполнить синхронизацию и создать пространство ключей в cassandra?
Мне не нужны данные ни в одной из таблиц в пространстве ключей. Поэтому я решил удалить пространство ключей, если оно существует, и немедленно создать его. Я использую приведенный ниже код для достижения того же....
1130 просмотров
schedule
03.02.2023
Характеристики вставки Cassandra с использованием разъема Spark-Cassandra
Я новичок в Spark и Cassandra. Я пытаюсь вставить в таблицу cassandra, используя разъем Spark-Cassandra, как показано ниже:
import java.util.UUID
import org.apache.spark.{SparkContext, SparkConf}
import org.joda.time.DateTime
import...
2090 просмотров
schedule
17.04.2023
Spark SQL + Cassandra: плохая производительность
Я только начинаю использовать Spark SQL + Cassandra и, возможно, упускаю что-то важное, но один простой запрос занимает ~ 45 секунд. Я использую библиотеку cassanda-spark-connector и запускаю локальный веб-сервер, на котором также размещается...
4274 просмотров
schedule
27.05.2022
нагрузка на разъем зажигания и производительность стабильного загрузчика
У меня есть искровая работа, которая прямо сейчас извлекает данные из HDFS и преобразует их в плоские файлы для загрузки в Cassandra.
Таблица cassandra состоит из трех столбцов, но последние два являются коллекциями карт, поэтому структура данных...
659 просмотров
schedule
15.07.2023
Получить данные раздела Cassandra в Apache Spark
Мои данные хорошо организованы по ключу раздела на Cassandra . Я хотел бы получить эти данные в Spark и сохранить те же разделы.
Моя цель - избежать очень большой перетасовки.
PS: я использую Cassandra 2.1 и Spark 1.5.
325 просмотров
schedule
02.08.2022
saveToCassandra на основе контента из RDD
Я использую искру в scala для создания универсального приложения для распараллеливания http-вызовов, и меня беспокоит, можно ли будет выполнить действие saveToCassandra на основе содержимого RDD, поскольку ответы должны попадать в разные таблицы....
701 просмотров
schedule
14.06.2023
Spark 1.5.1 + Scala 2.10 + Kafka + Cassandra = Java.lang.NoSuchMethodError:
Я хочу подключить Kafka + Cassandra к Spark 1.5.1.
Версии библиотек:
scalaVersion := "2.10.6"
libraryDependencies ++= Seq(
"org.apache.spark" % "spark-streaming_2.10" % "1.5.1",
"org.apache.spark" % "spark-streaming-kafka_2.10" % "1.5.1",...
635 просмотров
schedule
17.09.2023
Не удается подключиться к Cassandra из Spark (точки контакта содержат несколько центров обработки данных)
Я пытаюсь запустить свое первое задание искры (задание Scala, которое обращается к Cassandra), которое терпит неудачу и показывает следующую ошибку:
java.io.IOException: Failed to open native connection to Cassandra at {<ip>}:9042
at...
1545 просмотров
schedule
05.04.2024
Ошибка с spark-cassandra-connector в Spark java.lang.NoClassDefFoundError: com / datastax / driver / core / ProtocolOptions $ Compression
У меня возникает эта ошибка, когда я пытаюсь подключиться к кассандре с помощью spark-cassandra-connector:
Исключение в потоке «main» java.lang.NoClassDefFoundError: com / datastax / driver / core / ProtocolOptions $ Compression at...
3427 просмотров
schedule
30.06.2022
NoSuchMethodError от коннектора spark-cassandra с собранной банкой
Я новичок в Scala и пытаюсь создать работу Spark. Я создал задание, содержащее коннектор DataStax, и собрал его в толстую банку. Когда я пытаюсь выполнить его, он терпит неудачу с java.lang.NoSuchMethodError . Я взломал JAR и увидел, что...
960 просмотров
schedule
15.09.2022
Использование Spark с материализованными представлениями запроса Spark-cassandra-connector
Я использую Cassandra v. 3.2.1 и создал материализованное представление. Также у меня есть программа Spark, в которой я хотел бы запросить представление, но получаю следующее исключение:
java.io.IOException: Couldn't find MyNamespace.MyView or...
630 просмотров
schedule
08.04.2022
почему я получил ошибку: Размер превышает Integer.MAX_VALUE при использовании spark + cassandra?
У меня есть 7 узлов cassandra ( 5 nodes with 32 cores and 32G memory, and 4 nodes with 4 cores and 64G memory ), и в этом кластере развернуты рабочие искры, а мастер искры находится в 8th node . И я использовал для них spark-cassandra-connector ....
2381 просмотров
schedule
26.09.2022
Если еще в Spark Streaming
У меня есть приложение Spark Streaming, которое считывает данные из ОДНОЙ ТЕМЫ в Kafka, обрабатывает их и вставляет в 2 разных пространства ключей в Cassandra на основе содержимого элемента. Некоторые данные могут находиться в пространстве ключей A,...
404 просмотров
schedule
27.05.2023
обновить один столбец в таблице кассандры
У меня есть таблица cassandra person_master (personId: int, customerId: Int, firstName: String, lastName: String, mrids: Set) primaryKey (personId и customerID)
Предположим, у меня есть один входной RDD структуры [personId, customerId, firstName,...
1616 просмотров
schedule
05.07.2022
