Вопросы по теме 'hdp'
ОШИБКА 1066: невозможно открыть итератор для псевдонима в Pig, общее решение
Очень распространенное сообщение об ошибке в Apache Pig:
ОШИБКА 1066: невозможно открыть итератор для псевдонима
Есть несколько вопросов, в которых упоминается эта ошибка, но ни один из них не дает общего подхода к ее устранению. Отсюда...
11992 просмотров
schedule
19.07.2023
Как развернуть кластер HDP без HDFS?
Как развернуть кластер HDP без HDFS, так как мне не нужна HDFS для хранения и я буду использовать внутреннюю систему хранения в оперативной памяти. Как это может быть сделано?
38 просмотров
schedule
22.01.2023
Застрял при установке сервера шкалы времени приложений в ambari 2.6.2
Ошибка при установке сервера шкалы времени приложения. Пожалуйста, найдите ошибку ниже.
stderr:
Отслеживание (последний вызов последний):
Файл...
440 просмотров
schedule
30.06.2023
HBASE SHELL KeeperErrorCode = NoNode для /hbase-unsecure/master
ОШИБКА: KeeperErrorCode = NoNode для /hbase-unsecure/master
Я получаю эту ошибку, когда пытаюсь перечислить таблицы в оболочке hbase. Я использую песочницу Horton (hdp).
239 просмотров
schedule
08.01.2023
Как я могу запустить Spark в безголовом режиме в моей пользовательской версии на HDP?
Как запустить Spark в безголовом режиме? В настоящее время я запускаю Spark на HDP 2.6.4 (т.е. 2.2 установлен по умолчанию) в кластере. Я загрузил выпуск Spark 2.4.1 Scala 2.11 в безголовом режиме (т.е. без встроенных контейнеров hadoop) из...
639 просмотров
schedule
06.10.2022
пользовательская искра не находит базы данных кустов при работе на пряжи
Запуск собственной версии Spark on Yarn в HDP отлично работает, следуя руководству из https://georgheiler.com/2019/05/01/headless-spark-on-yarn/ , т.е. следующее:
# download a current headless version of spark
export SPARK_DIST_CLASSPATH=$(hadoop...
1039 просмотров
schedule
19.01.2023
Сбой задания Mapreduce с MAX_FAILED_UNIQUE_FETCHES; выручая
Задание Map-reduce завершается со следующей ошибкой на редукторе
Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#5 at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134) at...
611 просмотров
schedule
24.04.2023
Spark Thrift beeline: обязательное поле client_protocol не задано
Я запустил Spark Thrift Server в HDP 3.1.
Пробовал подключиться к нему через билайн: beeline -u "jdbc:hive2://myhost.mybank.rus:10016/public"
И я получил ошибку:
19/10/10 00:17:08 [main]: ERROR jdbc.HiveConnection: Error opening session...
597 просмотров
schedule
22.11.2022
Можно ли установить исправление в реплике, которое будет выполняться автоматически, когда это необходимо, из амбари?
У нас есть ambari кластер - версия HDP 2.6.5
время от времени мы видим под репликой в приборной панели амбари, (это означает, что под репликой нужно исправить)
Когда я увидел это, я запустил команду HDFS , которая это исправляет.
но я...
20 просмотров
schedule
19.12.2022
кластер амбари + плохое соединение между агентом амбари и сервером амбари
у нас есть кластер амбари с 872 машинами узлов данных, когда версия амбари - 2.6.x
у нас есть проблема с сетью,
после долгого расследования мы обнаружили, что агент амбари, работающий на каком-то компьютере, плохо взаимодействует с сервером...
101 просмотров
schedule
12.12.2022
Не удалось сохранить фрейм данных Spark в виде таблицы в HDP 3.0
У меня есть один кадр данных, который я пытаюсь сохранить как таблицу кустов. Я пробовал все возможные способы, но не смог сохранить его как таблицу в HDP 3.0. Я использую приведенный ниже код.
var sparksession = SparkSession.builder()...
75 просмотров
schedule
26.07.2023
Spark + Hive: количество просканированных разделов превышает предел (= 4000)
Мы обновили нашу платформу Hadoop (Spark; 2.3.0, Hive: 3.1), и я столкнулся с этим исключением при чтении некоторых таблиц Hive в Spark: «Число отсканированных разделов в таблице my_table превышает предел (= 4000)».
Таблицы, над которыми мы...
843 просмотров
schedule
15.11.2022
Управление пользователями и группами Ambari для пользовательских сервисов Ambari
Я уже довольно давно работаю с Custom Ambari Services. Мне удалось установить несколько различных пользовательских компонентов. Я создал несколько пакетов управления и считаю, что имею большой опыт работы с сторонними сервисами в Ambari.
Всякий...
185 просмотров
schedule
23.09.2022
HDP MapReduce Jobs Concurrency
Я пытаюсь импортировать данные из Oracle во внутренний Hive с помощью sqoop. Мои запросы sqoop работают нормально, но когда я пытаюсь запустить несколько запросов sqoop одновременно в сценарии, выполняется только одно задание MapReduce, а остальные...
74 просмотров
schedule
15.04.2023
Сборка стеков Amabari HDP из исходников
Я пытаюсь настроить Ambari + HDP из источников (поскольку Cloudera закрыла репозитории пакетов Hortonworks). Может ли кто-нибудь поделиться опытом / как по этому поводу? Документация по этому поводу очень скудная.
227 просмотров
schedule
28.02.2023
Spark HDFS_DELEGATION_TOKEN не может быть найден в кеше
I am running simplest Driver alone long running job to reproduce this error
Hadoop Version 2.7.3.2.6.5.0-292
Spark-core version 2_11.2.3.0.2.6.5.0-292
Code:
FileSystem fs = tmpPath.getFileSystem(sc.hadoopConfiguration())...
682 просмотров
schedule
01.03.2023
Установите Eclipse в песочнице Cloudera HDP
Я использовал более раннюю виртуальную машину Cloudera QuickStart с использованием виртуальной коробки оракула. Эта виртуальная машина QuickStart предоставляла предустановленные Eclipse и веб-браузер. Таким образом, я могу установить Intellij или...
51 просмотров
schedule
09.11.2022
Apache spark 3.0 со стеком HDP 2.6
Мы планируем настроить Apache Spark 3.0 за пределами существующего кластера HDP 2.6 и отправлять задания с использованием пряжи (v2.7) в этом кластере без обновления или модификации. В настоящее время пользователи используют Spark 2.3, который входит...
299 просмотров
schedule
27.02.2023
Hortonworks Sandbox HDP 2.6.5 на Mac с VirtualBox
Я новичок в Hortonworks Sandbox HDP 2.6.5. Я успешно установил его на MacOS Catalina, на котором работает VirtualBox. Все в порядке - я могу получить доступ к панели управления Ambari и ssh с моего Mac на Hadoop FS.
Однако я не понимаю, что есть...
191 просмотров
schedule
02.07.2022
Не удается выполнить rsync для hdfs, смонтированного на hdfs :-)
Извините за неудачный каламбур в заголовке. Вот сделка:
В чем моя проблема?
У меня есть кластер HDP 3.1 с 3 узлами данных, 1 именным узлом и 1 резервным именным узлом. Этот кластер находится в сети 192.168.10.0/24. В этой сети у меня есть еще...
68 просмотров
schedule
02.04.2022
