Вопросы по теме 'livy'
Доступ к файлу данных из текущего сеанса Livy
У меня есть кластер Spark, работающий на Hadoop в режиме YARN. Я настроил сервер Livy для взаимодействия и отправки искровых заданий клиента в искровый кластер. Я загрузил файл данных вместе с банкой из java-программы в Livy, который загружается в...
1055 просмотров
schedule
12.05.2023
curl: как использовать Kerberos вместо аутентификации NTLM в Windows?
Я пытаюсь подключиться к службе Livy REST под защитой Kerberos. В Linux CentoS curl отлично работает с negotiate , после получения билета Kerberos kinit соединение через
curl --negotiate -u : http://service_link
Проблема, с которой я...
6507 просмотров
schedule
05.12.2023
Версия Zeppelin 0.7.2 не поддерживает spark 2.2.0
Как понизить версию искры? Какие могут быть другие решения? Мне нужно подключить свои таблицы улья к искре, используя сеанс искры. Но искровая версия не поддерживается цеппелином.
2797 просмотров
schedule
14.07.2022
Livy REST API: запросы GET работают, но запросы POST завершаются с ошибкой `` требуется аутентификация 401 ''
Я написал клиент Java для частей REST API Ливи по адресу https://github.com/apache/incubator-livy/blob/master/docs/rest-api.md . Клиент использует RestTemplate.getForObject() и postForObject() Spring для выполнения запросов GET и POST...
1625 просмотров
schedule
03.05.2023
Проблема с доступом к контексту цеппелина в интерпретаторе Apache Livy для цеппелина
Можно ли получить доступ к контексту цеппелина (z) в Livy Interpreter для Zeppelin? Если да, то как получить к нему доступ. Если нет, означает ли это, что визуализация цеппелинов в Livy ограничена библиотеками Python?
Как обмениваться переменными...
728 просмотров
schedule
30.10.2022
Как установить --master, --deploy-mode, --driver-class-path и --driver-java-options через Apache Livy?
Я хочу установить master , spark deploy-mode , путь к классу драйвера и параметры драйвера java для задания Spark, когда задание запускается через Apache Livy без перезапуска сервера Livy при изменении этих параметров. Как это сделать, если в...
1579 просмотров
schedule
23.02.2024
Zeppelin динамически загружает банки
Внутри Zeppelin я хочу иметь возможность динамически загружать банки в Livy из корпоративного репозитория.
livy.spark.jars.packages
применяется только к конфигурации интерпретатора, которая ограничена из-за ограничений безопасности.
Как я...
813 просмотров
schedule
25.04.2023
Zeppelin, Ливи, Могу ли я получить прокси пользователя
Я пытаюсь получить идентификатор пользователя, используемый для входа в Zeppelin, в моем скрипте scala (%livy). Я попытался найти в Интернете и заметил, что есть свойство с именем «proxyUser». Однако я не могу понять, как получить это свойство в...
339 просмотров
schedule
30.12.2022
Кластер Apache Spark и Livy
Сценарий:
У меня есть искровой кластер и Я тоже хочу использовать Ливи .
Я новичок в Ливи
Проблема:
Я построил свой искровой кластер, используя docker swarm, и я также создам сервис для Ливи.
Может ли Ливи связаться с...
661 просмотров
schedule
21.02.2023
Как извлечь журналы клиента заданий Spark, отправленные с помощью метода POST пакетной обработки Apache Livy с помощью AirFlow
Я работаю над отправкой задания Spark с использованием метода POST пакетов Apache Livy.
Этот HTTP-запрос отправляется с помощью AirFlow. После отправки работы я отслеживаю статус, используя пакетный идентификатор.
Я хочу отображать журналы...
3267 просмотров
schedule
27.04.2022
Невозможно отправить зависимости Python в Spark на EMR через Livy
Я поискал и просмотрел множество статей в Интернете и, наконец, нашел возможное решение в:
Кажется, я не могу получить --py -файлы на Spark для работы
Я последовал за ответом, получившим наибольшее количество голосов в этой ссылке, но он не...
1069 просмотров
schedule
29.06.2023
Ливи REST Spark java.io.FileNotFoundException:
Я новичок в BigData, я попытался вызвать искровые задания с помощью apache Livy. С командной строкой отправки работает нормально. с Ливи у меня есть исключение
# P2 # # P3 #
Ливи журналы:
2019-06-01 00:43:19,160 WARN...
423 просмотров
schedule
11.03.2022
Как я могу отправить банку с параметрами ключевого слова, используя livy?
Я использую livy(post/batches) для отправки jar с параметрами ключевого слова.
Например:
spark-sumbit \
--class xxx \
--master xxx \
--conf xxx=aa \
my_test.jar --arg1 <arg1> --arg2 <arg2>
Как я могу это...
466 просмотров
schedule
17.05.2023
Livy-Upload JAR в пути к классам драйвера
Я не могу создать активный интерактивный сеанс с зависимым файлом JAR, требуемым в пути к классу драйвера, с помощью следующей команды:
curl -H "Content-Type: application/json" -X POST -d...
902 просмотров
schedule
23.08.2022
Увеличение времени ожидания приложения Spark в Jupyter/Livy
Я использую общий кластер EMR с установленным Jupyterhub. Если мой кластер сильно загружен, я получаю сообщение об ошибке Как увеличить время ожидания для искрового приложения с 60 секунд до чего-то большего, например 900 секунд (15 минут)?
1300 просмотров
schedule
01.08.2022
Как преобразовать вызов Livy curl в вызов Livy Rest API
Я начинаю с Livy, в моих настройках Livy-сервер работает на машине Unix, и я могу выполнить curl для него и выполнить задание. Я создал толстую банку и загрузил ее на hdfs, и я просто вызываю ее основной метод из Livy. Моя полезная нагрузка Json для...
857 просмотров
schedule
19.09.2022
jupyter notebook pyspark sparkmagic ошибка, когда я использую встроенный sql magic
Я успешно настроил ядро PySpark в ноутбуке jupyter, я также установил SparkMagic. Когда я пытаюсь использовать следующую команду:
%%sql
SELECT DepDelay, ArrDelay FROM flightData
он начинает работать, и внезапно Spark перестает выдавать...
811 просмотров
schedule
13.11.2022
Как посмотреть логи исполнителя в Livy, запущенном в кубернетах
У меня есть стабильное / искровое развертывание Helm, работающее на Kubernetes, и отправляю задание через Livy.
curl -X POST --data '{"className": "LogBundleConfigFetcher", "file": "http: ///aliceparser_2.11-19.12.09.jar", "args": [""]}' -H...
641 просмотров
schedule
26.12.2022
Ливи создает сессию мертвой
Я добавил в свою настройку spark пакет (в spark-default.conf ), но когда я создаю новый сеанс с livy это вызывает у меня проблемы (см. ошибку ниже) и сеанс и смерть. ps: когда я удаляю этот пакет, все работает нормально.
20/05/04 00:17:35...
927 просмотров
schedule
09.10.2022
Airflow: используйте LivyBatchOperator для отправки приложений pyspark в пряжу.
Я столкнулся с чем-то под названием LivyBatchOperator , но не смог найти очень хороший пример для отправки приложений pyspark в потоке воздуха. Любая информация об этом будет действительно оценена. Заранее спасибо.
872 просмотров
schedule
15.01.2023
