Вопросы по теме 'cloudera-cdh'
Импорт Sqoop из кушетки в Hadoop
На Ubuntu, использую Couchbase 2.5.1, Cloudera cdh4, Hadoop-плагин для Couchbase и Oracle JDK 6. Все устанавливается нормально (с виду), я могу работать с Hadoop и Couchbase независимо без проблем, но когда я пытаюсь использовать плагин следующим...
1252 просмотров
schedule
16.01.2023
Не удается запустить задание в кластере Hadoop. запускается только с использованием LocalJobRunner
Я отправил задание MR с помощью команды hadoop jar со следующей командой на CDH5 Beta 2.
hadoop jar ./hadoop-examples-0.0.1-SNAPSHOT.jar com.aravind.learning.hadoop.mapred.join.ReduceSideJoinDriver tech_talks/users.csv tech_talks/ratings.csv...
5126 просмотров
schedule
12.07.2023
Какая версия CDH с помощью Cloudera Manager автоматически устанавливает JDK1.7?
Я использую Cloudera Manager с CDH4.2.2 для своего кластера 3+1. При запуске установки с помощью менеджера cloudera он автоматически загружает и устанавливает JDK1.6. Я хочу использовать JDK1.7 с CDH для удобства. Возможно ли или есть какая-либо...
192 просмотров
schedule
24.08.2022
Что я могу ожидать от производительности Hive и Hadoop?
На самом деле я пытаюсь реализовать решение с помощью Hadoop, используя Hive на CDH 5.0 с Yarn. Итак, моя архитектура: 1 Namenode 3 DataNode Я запрашиваю ~ 123 миллиона строк с 21 столбцом.
Моя нода виртуализирована с 2vCPU @2.27 и 8 GO RAM...
137 просмотров
schedule
23.11.2022
webhdfs открыть файл NullPointerException
Я пытаюсь открыть файл из HDFS через API webhdfs. Я могу создавать файлы и загружать их, но как только я пытаюсь открыть, я получаю эту ошибку...
389 просмотров
schedule
05.11.2022
действие oozie hive с использованием сервера метахранилища hive с kerberos
Я использую CDH5. Я настроил хранилище метаданных Hive для использования kerberos. то есть hive-site.xml имеет следующие свойства
<property>
<name>hive.metastore.sasl.enabled</name>
<value>true</value>...
5968 просмотров
schedule
18.08.2022
Как загрузить библиотеку native-hadoop в кластер Hadoop?
Я запускаю Revolution R Enterprise версии 7.0 в Cloudera Hadoop (CDH) версии 4.6 для создания дерева решений с использованием службы MapReduce.
Когда я запускаю вычислительный контекст кластера Hadoop, кажется, что библиотека native-hadoop не...
472 просмотров
schedule
07.05.2024
Можем ли мы установить R-скрипт или любое стороннее программное обеспечение на CDH5 (Cloudera Distribution of Hadoop)
Я собираюсь настроить локальный кластер, в котором я планирую использовать CDH5. С этим у меня будет вся встроенная экосистема Hadoop на лету, однако мне нужен Rscript также в моем кластере для некоторой работы с потоковой передачей Hadoop и...
668 просмотров
schedule
26.05.2023
Ошибка в метаданных: org.apache.thrift.transport.TTransportException
Что означает эта ошибка? "Ошибка в метаданных: org.apache.thrift.transport.TTransportException?" В каких случаях возникает эта ошибка?
Я получаю эту ошибку при создании таблиц и при загрузке данных в таблицу.
3290 просмотров
schedule
21.03.2024
перезапустить jobtracker через API менеджера cloudera
Я пытаюсь перезапустить Mapreduce Jobtracker через Cloudera Manager API. Статистика для Jobtracker выглядит следующим образом:
local-iMac-399:$ curl -u 'admin:admin'...
604 просмотров
schedule
29.05.2024
Namenode HA (UnknownHostException: nameservice1)
Мы включаем высокую доступность Namenode через Cloudera Manager, используя
Cloudera Manager >> HDFS >> Действие > Включить высокую доступность >> Выбранные резервные узлы Namenode и Journal Затем nameservice1
После завершения всего процесса...
20964 просмотров
schedule
24.02.2023
Общие сведения о функциональности моментальных снимков Hadoop
Я пытаюсь понять механизм моментального снимка Hadoop ( http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsSnapshots.html ). К сожалению, на официальном сайте apache очень мало информации, поэтому пишите сюда.
Я попробовал...
2421 просмотров
schedule
10.09.2022
LDAP с интеграцией Cloudera Hue
Я настроил сервер LDAP в своей Ubuntu 12.04 на том же сервере, где установлена служба Cloudera core Hadoop. Здесь я хочу интегрировать оттенок cloudera с сервером LDAP.
Ниже приведены мои пользователи LDAP.
root@ip-10-81-160-152:/home/ubuntu#...
2382 просмотров
schedule
29.06.2022
Задание продолжает работать в LocalJobRunner в Cloudera 5.1
Нужна быстрая помощь. Наше задание отлично работает в MapR, но когда мы запускаем то же задание в Cloudera 5.1, оно продолжает работать в локальном режиме.
Я уверен, что это какая-то проблема с конфигурацией. Какой параметр конфигурации?...
1531 просмотров
schedule
13.08.2023
Ошибка YARN JobHistory: сбой перенаправления для контейнера
Недавно мы развернули YARN с CDH 5 (2.3.0-cdh5.1.3), в кластере уже запущен файл, также выполняются задания. Но мы не можем получить доступ к журналам из пользовательского интерфейса диспетчера ресурсов, если задание завершено (УСПЕШНО / НЕ...
1650 просмотров
schedule
07.10.2023
Установка Cloudera CDH5 с помощью менеджера cloudera в Ubuntu 12.04 LTS
Я пытаюсь установить CDH5 с помощью Cloudera Manager в Ubuntu 12.04 LTS (64-разрядная версия). Я выполнял шаги, указанные в ссылка Cloudera . Мне не удалось указать правильное имя хоста для установки CDH5. У меня нет других записей, кроме...
876 просмотров
schedule
12.04.2022
перенаправлять сообщения JMS на основе свойства в сообщении с использованием Flume
Мы настроили Flume для чтения сообщений JMS из системы, и это работает нормально.
Теперь я хотел бы прочитать сообщение и перенаправить его в несколько мест на основе свойства в сообщении.
Пример: если мое текстовое сообщение выглядит так:...
227 просмотров
schedule
06.01.2023
Как перенести данные из файлов мейнфрейма в HDFS Hadoop с помощью Flume
Я использую cloudera CDH5, и есть требование переносить данные из файлов мейнфрейма в hdfs hadoop с помощью flume. Может ли кто-нибудь помочь мне, какие шаги нужно предпринять, чтобы позаботиться ..
271 просмотров
schedule
20.12.2022
остановить командную строку кластера cloudera CDH5
Я хотел бы знать командную строку для остановки и запуска кластера cloudera CDH5.2.
Причина: я пишу сценарий автоматизации для запуска некоторых эталонных тестов и хочу останавливать и запускать кластер перед началом каждого эталонного теста.
Я...
2191 просмотров
schedule
18.09.2022
Solr — исключение ввода-вывода при публикации данных: java.net.ConnectionException
Я пытаюсь использовать apache solr для индексации данных в clouera в Hadoop, используя CDH Cloudera 4.7.
$ java -Durl=http://localhost:8983/solr/collection1/update -jar post.jar monitor.xml" throws an error
"SimplePostTool version 1.5
Posting...
232 просмотров
schedule
29.11.2023
