Вопросы по теме 'hadoop3'

Ошибка применения политики авторизации к конфигурации куста: не удалось создать каталог ${system:java.io.tmpdir}\${hive.session.id}_resources
Я запускаю Hadoop 3.0.0-alpha1 в Windows и добавляю к нему Hive 2.1.1 . При попытке открыть улей билайн командой hive получаю ошибку: Error applying authorization policy on hive configuration: Couldn't create directory...
4033 просмотров
schedule 07.01.2023

Как Erasure Coding используется в hadoop3 и как с его помощью достигается отказоустойчивость?
Согласно примечаниям к выпуску Hadoop 3.x, они ввели Erasure coding для решения проблем с хранилищем. Erasure coding, новая функция HDFS, может снизить нагрузку на хранилище примерно на 50 % по сравнению с репликацией, сохраняя при этом те же...
132 просмотров
schedule 17.04.2023

HDFS_NAMENODE_USER, HDFS_DATANODE_USER и HDFS_SECONDARYNAMENODE_USER не определены
Я новичок в Hadoop. Я пытаюсь установить Hadoop на своем ноутбуке в псевдораспределенном режиме. Я запускаю его под пользователем root, но получаю следующую ошибку. root@debdutta-Lenovo-G50-80:~# $HADOOP_PREFIX/sbin/start-dfs.sh WARNING:...
28045 просмотров
schedule 06.10.2022

Если у меня уже установлен Hadoop, следует ли загружать Apache Spark С Hadoop или БЕЗ Hadoop?
У меня уже установлено Hadoop 3.0.0 . Должен ли я теперь установить с hadoop или без hadoop версию Apache Spark с этой страницы ? Я следую этому руководству , чтобы начать работу с Apache Spark. Это говорит Загрузите последнюю...
797 просмотров
schedule 02.04.2023

Как обновить кластер Hadoop с 2.6.0 до 3.0.0?
Текущая версия нашего кластера Hadoop — 2.6.0-CDH5.10.0, и мы хотим обновить ее до 3.0.0. Между двумя версиями есть существенные различия, например несовместимость портов узлов и т. д. Как обновить кластер Hadoop с 2.6.0 до 3.0.0?
708 просмотров
schedule 21.11.2022

Не удалось инициализировать схему для HiveServer2 в Apache Hive 3.0.0 на Cygwin (Windows 10)
У меня уже был кластер Hadoop 3.0.0, состоящий из 2 машин: 1 namenode + RM и 1 datanode. Я попытался установить Apache Hive 3.0.0, следуя этому документу . Когда я запускаю schematool -dbType derby -initSchema --verbose на Cygwin, возникает...
1225 просмотров
schedule 26.12.2022

Невозможно создать каталог на Hadoop через веб-консоль Hadoop
Я настроил среду hadoop, используя образ Linux VMWare. Я могу создать файл и папку с помощью терминала Linux Но когда я использую веб-интерфейс, чтобы сделать то же самое, я получаю сообщение об ошибке: Разрешение отклонено:...
113 просмотров
schedule 06.09.2023

Spark не использует правильную конфигурацию из core-site.xml
Когда я пытаюсь прочитать паркетный файл из указанного места, например / test, с помощью spark.read.parquet (), я получаю сообщение об ошибке file: // test не существует. Когда я добавляю core-site.xml в качестве ресурса в код с...
2614 просмотров
schedule 28.02.2022

Свинья не работает в настроении mapreduce (hadoop 3.1.1 + pig 0.17.0)
Я новичок в Hadoop. Моя версия hadoop - 3.1.1 , а версия pig - 0.17.0 . Все работает, как ожидалось, запустив этот скрипт в локальном режиме свинья -x местный grunt> student = LOAD '/home/ubuntu/sharif_data/student.txt' USING...
448 просмотров
schedule 10.04.2022

Слишком длинная командная строка на maven при сборке хаупа из исходного кода в Windows 10
Я пытаюсь собрать hadoop из исходного кода, как описано в эта статья . При сборке общего Apache все выходит из строя с этим сообщением об ошибке: command line too long . Итак, вот что я пробовал (я обновлю это, когда попробую больше): Как...
167 просмотров
schedule 19.05.2022

Не удалось получить доступ к локальному хосту: 7070 из-за ошибки в Apache Kylin.
Добрый день, у меня проблемы с доступом к http://:7070. Я установил следующие программы: apache-hive-3.1.2-bin, kylin-3.1.1-bin-hadoop3, kafka_2.12-2.5.0, hadoop-3.3.0 и hbase-2.3.4. это связано с некоторой проблемой при подключении к HBase, потому...
56 просмотров
schedule 20.10.2023