Мне интересно, есть ли какие-либо важные различия между использованием консоли SBT и оболочкой Spark для интерактивной разработки нового кода для проекта Spark (ноутбуки на самом деле не вариант с брандмауэрами сервера). Оба могут импортировать...

Я пытаюсь прочитать данные из zip-файла можно прочитать весь текстовый файл, как показано ниже val f = sc.wholeTextFiles("hdfs://") но не знаю, как читать текстовые данные внутри zip файла Есть ли возможный способ сделать это, если да,...

Входной файл: ___DATE___ 2018-11-16T06:3937 Linux hortonworks 3.10.0-514.26.2.el7.x86_64 #1 SMP Fri Jun 30 05:26:04 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux 06:39:37 up 100 days, 1:04, 2 users, load average: 9.01, 8.30, 8.48 06:30:01 AM all...

Я новичок в Apache Spark. Я пытаюсь настроить Apache Spark на свой Macbook. Я загружаю файл "spark-2.4.0-bin-hadoop2.7" с официального веб-сайта Apache Spark. Когда я пытаюсь запустить ./bin/spark-shell или ./bin/pyspark, я получаю _1 _. Я хочу...

У меня есть одна внешняя таблица в ведре gs, и для выполнения некоторой логики уплотнения я хочу определить полный путь, на котором создается таблица. val tableName="stock_ticks_cow_part" val primaryKey="key" val versionPartition="version" val...

Я попытался создать переменную / val с именем "org" в оболочке Spark (Scala версии 2.10.5), но выдала ошибку Я пробовал как с var, так и с val. var org = List(1) ошибка: значение apache не является членом List [Int]...

Необходимо выполнить скрипт scala через спарк-оболочку в тихом режиме. Когда я использую spark-shell -i "file.scala" , после выполнения я перехожу в интерактивный режим scala. Я не хочу туда входить. Я попытался выполнить искровую оболочку -i...

Я пытаюсь запустить запрос улья, используя gcloud вычисление ssh через scala Во-первых, вот что я пробовал scala> import sys.process._ scala> val results = Seq("hive", "-e", "show databases;").!! asd zxc qwe scala> и это хорошо....

У меня есть программа Scala, которую я хочу выполнить с помощью оболочки Spark, теперь, когда я копирую вставку в оболочку Spark, она не работает, мне приходится копировать строку за строкой внутри. Как мне скопировать всю программу внутри...

Единственные известные мне два способа запустить искровый код на основе Scala - это либо скомпилировать программу Scala в файл jar и запустить его с помощью spark-submit, либо запустить скрипт Scala с помощью: load внутри искровой оболочки. Мой...

Я добавил в свою настройку spark пакет (в spark-default.conf ), но когда я создаю новый сеанс с livy это вызывает у меня проблемы (см. ошибку ниже) и сеанс и смерть. ps: когда я удаляю этот пакет, все работает нормально. 20/05/04 00:17:35...

У меня есть данные объемом 55 ГБ, которые необходимо обработать. Я запускаю Spark-shell на одной машине с 32 ядрами и 180 ГБ ОЗУ (без кластера). Поскольку это один узел, и драйвер, и рабочие находятся в одном процессе JVM и по умолчанию используют...

Почему SparkHadoopUtil недоступен здесь, тогда как доступен в более низкой версии искры, даже если они импортированы? Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\...