Вопросы по теме 'sparkr'
потоковая передача в sparkR?
Я использую Spark в Scala некоторое время. Сейчас я изучаю pySpark и SparkR. Я не вижу упоминаний о потоковой передаче для PySpark и SparkR. Кто-нибудь знает, можете ли вы выполнять потоковую передачу Spark при использовании Python и R?
1912 просмотров
schedule
03.09.2023
Не удалось вызвать функцию sparkRSQL.init
Я новичок в Spark и пытался запустить пример, упомянутый на странице SparkR. Приложив некоторые усилия, я смог установить sparkR на свою машину и запустить базовый пример подсчета слов. Однако, когда я пытаюсь запустить:
library(SparkR) #работает...
1367 просмотров
schedule
05.02.2023
Как связать два фрейма данных в SparkR
В R мы используем rbind() для привязки двух фреймов данных, например.) rbind(X, Y) Как мы можем сделать то же самое в SparkR в spark 1.4
ТИА, Арун
816 просмотров
schedule
26.11.2022
Не удалось запустить SparkR в RStudio
После долгого и сложного процесса установки SparkR я столкнулся с новыми проблемами запуска SparkR.
Мои настройки
R 3.2.0
RStudio 0.98.1103
Rtools 3.3
Spark 1.4.0
Java Version 8
SparkR 1.4.0
Windows 7 SP 1 64 Bit
Теперь я...
6273 просмотров
schedule
15.09.2023
sparkr на ec2: убедитесь, что рабочие зарегистрированы и имеют достаточно памяти
Я настроил кластер spark (spark-1.4.0) на ec2, используя скрипт spark-ec2, поставляемый с релизом. Он отлично запускается с ведущим и одним подчиненным, и я могу проверить статус на http://:8080.
Теперь я хотел бы запустить sparkR в своем...
106 просмотров
schedule
22.10.2022
Как связать два столбца данных в sparkR?
Как связать два столбца фрейма данных в SparkR spark 1.4
ТИА, Арун
1541 просмотров
schedule
04.10.2023
Получить определенную строку с помощью SparkR
У меня есть набор данных "данные" в SparkR типа DataFrame. Например, я хочу получить номер записи 50. В R я просто набираю data[50,] , но когда я делаю это в sparkR, я получаю это сообщение
"Ошибка: объект типа "S4" не является...
3315 просмотров
schedule
07.10.2022
Сохраните кадр данных sparkR с помощью HiveContext с помощью команды saveAsTable
Как сохранить фрейм данных sparkR при работе с HiveContext с помощью команды saveAsTable
df_5 <- loadDF(sqlContext, "Report02_cashier_Hourly_total_Trans_july30.parquet", "parquet") /*I loaded the parquet file as dataframe*/
sqlContext <-...
711 просмотров
schedule
26.06.2022
Удаление даты записи в sparkR
У меня есть DataFrame x. Он содержит идентификатор и дату. Так
head(x)
дает ID = 1 2... и Date = "2012-05-05" "2015-01-01"...
Я хочу создать новый набор данных, в котором будут удалены все идентификаторы с датой выше «2013-01-01» + P. P...
105 просмотров
schedule
19.05.2023
Время работы функции подсчета в sparkR
У меня есть DataFrame X в sparkR. X содержит столбец с идентификатором = 1 2 3 1 2 3 9 ... и счет для каждой записи: счет = 1241 233 20100 ....
Таким образом, найти все баллы для ID
s=filter(X, X$ID==1)
и тогда мы получаем все оценки для...
235 просмотров
schedule
05.07.2023
Преобразование строки в дату в sparkR
У меня есть этот data.frame в sparkR
df <- data.frame(user_id=c(1,1,2,2),
time=c("2015-7-10","2015-8-04","2015-8-8","2015-7-10"))
Я делаю это в DataFrame
dft <- createDataFrame(sqlContext, df)
Я хочу преобразовать...
1570 просмотров
schedule
13.01.2023
Использование функции суммы для получения значения в sparkR
У меня есть "данные" DataFrame в sparkR, которые содержат ID = 1,2,.. и количество = 232, 303, 444, 10,... Я хочу проверить, превышает ли сумма суммы 5000.
sum(data$amount ) > 5000
Теперь sparkR должен возвращать TRUE, если это TRUE и...
598 просмотров
schedule
07.01.2023
собрать искру в фреймворк данных
Я загружаю некоторые данные в sparkR (версия Spark 1.4.0, работающая на Fedora21), над которыми я запускаю некоторый алгоритм, который выдает три разных числа. Мой алгоритм принимает кучу параметров, и я хочу использовать разные настройки параметров...
1929 просмотров
schedule
07.04.2023
ПРЕДУПРЕЖДЕНИЕ о формате AVRO для NULL в SparkR
Я использую SparkR в RStudio. Я пытаюсь использовать hiveContext для извлечения данных из Hive/HDFS . Данные имеют формат AVRO , и возникает конфликт с неправильным объявлением NULL в базе данных. Я получаю такое предупреждение при попытке...
255 просмотров
schedule
26.05.2024
Чтобы отсортировать определенный столбец в DataFrame в SparkR
В SparkR у меня есть DataFrame data . Он содержит time , game и id .
head(data)
затем дает ID = 1 4 1 1 215 985 ..., game = 1 5 1 10 и время 2012-2-1, 2013-9-9, ... Теперь game содержит тип игры, который представляет собой числа от...
1145 просмотров
schedule
05.11.2022
Доставка пакетов R на узлы в SparkR
Привет, мне интересно, есть ли решение для отправки пакетов R с spark-submit и использования их на вычислительных узлах в SparkR?
419 просмотров
schedule
10.05.2023
Отбросьте столбец DataFrame в SparkR
Мне интересно, есть ли краткий метод для удаления столбца DataFrame в SparkR , например df.drop("column_name") в pyspark .
Это самое близкое, что я могу получить:
df <- new("DataFrame",
sdf=SparkR:::callJMethod(df@sdf, "drop",...
2631 просмотров
schedule
29.04.2023
SparkR, рабочий процесс не может загрузить библиотеку
Недавно я начал использовать SparkR. У меня работает 1 мастер и 3 рабочих и AWS. Я использую RSudio Server. Мои коды включают пакет stringr, и эти пакеты были установлены /usr/share/R/library на всех узлах.
Но когда я запускаю...
1426 просмотров
schedule
28.05.2023
Узкое место SparkR в createDataFrame?
Я новичок в Spark, SparkR и вообще во всех технологиях, связанных с HDFS. Недавно я установил Spark 1.5.0 и запустил простой код с помощью SparkR:
Sys.setenv(SPARK_HOME="/private/tmp/spark-1.5.0-bin-hadoop2.6")...
1571 просмотров
schedule
15.05.2022
Попытка найти эквивалент R для SetConf из Java
В Java вы можете сделать что-то вроде:
sc.setConf('spark.sql.parquet.binaryAsString','true')
Какой будет эквивалент в R? Я просмотрел методы, доступные для объекта sc , и не могу найти очевидного способа сделать это.
Спасибо
206 просмотров
schedule
26.10.2022
