Вопросы по теме 'webhdfs'
Минимум зависимостей для работы с HDFS
Мне нужно поместить некоторые файлы в HDFS из моего клиентского приложения. Я не планирую назначать задание для hadoop, просто нужно что-то добавить в HDFS.
Зависимость Maven от hadoop-core приносит много вещей, таких как jersey-core и т. Д.,...
314 просмотров
schedule
13.07.2022
Ошибка разрешений на webhdfs
Я работаю над использованием интерфейса REST для HDFS Hadoop в качестве удобного способа хранения файлов по сети. Для проверки я установил на свой Mac (10.8.5) hadoop, следуя этим инструкциям:...
2105 просмотров
schedule
08.11.2023
WebHDFS и SequenceFiles
Правда ли, что WebHDFS не поддерживает SequenceFiles ?
Я не могу найти ничего, что говорит, что это так. У меня обычная проблема с небольшим файлом, и я считаю, что SequenceFiles будет работать достаточно хорошо, но мне нужно использовать...
484 просмотров
schedule
27.08.2022
Hadoop webhdfs в безопасном режиме с пользователем, не прошедшим проверку подлинности из-за ошибки фильтра
Я настроил Hadoop HDFS с включенной безопасностью с помощью Kerberos (CDH4.3). Он отлично работает, я могу выполнять все операции с помощью инструментов командной строки. Есть некоторые другие узлы кластера, не относящиеся к Hadoop, которым...
2346 просмотров
schedule
05.04.2022
webhdfs открыть файл NullPointerException
Я пытаюсь открыть файл из HDFS через API webhdfs. Я могу создавать файлы и загружать их, но как только я пытаюсь открыть, я получаю эту ошибку...
389 просмотров
schedule
05.11.2022
Загрузить файл в HDFS по частям
Я хотел бы использовать драгоценный камень «webhdfs» для загрузки файла кусками в HDFS. Я вижу в документации, что есть метод создания, но я не уверен, как его использовать и загружать большой файл кусками. Кто-нибудь пробовал это?
256 просмотров
schedule
22.04.2023
Hadoop Rest API для загрузки/выгрузки
Я пытаюсь выполнить загрузку/выгрузку файла из кластера Hadoop с помощью приложения C#, но мне не удалось найти API-интерфейсы для загрузки и загрузки из документации.
Итак, не могли бы вы сообщить мне, как загружать и скачивать файлы из Hadoop с...
7043 просмотров
schedule
25.07.2023
WebHDFS против HttpFS
В чем разница между API REST WebHDFS и HttpFS ?
Если я правильно понимаю:
HttpFS — это независимая служба, которая предоставляет REST API поверх HDFS.
WebHDFS — это REST API, встроенный в HDFS. Не требует дополнительной установки
Я...
11784 просмотров
schedule
12.06.2022
загрузка файла в HDFS через модуль node.js и hdfs
Я пытаюсь загрузить файл в HDFS, используя node.js. Я использую модуль hdfs , но файл, который попадает в мою HDFS, пуст (stupidfile. txt нет)
var WebHDFS = require('webhdfs');
var hdfs = WebHDFS.createClient();
var fs = require('fs')
var...
2542 просмотров
schedule
20.12.2022
Нет метода копирования в WebHDFS
WebHDFS предоставляет хуки для «переименования», «удаления» и других основных манипуляций с файлами. но здесь нет хука API для копирования. Не мог бы кто-нибудь объяснить это или какие-нибудь хорошие обходные пути?
Спасибо!
50 просмотров
schedule
09.08.2022
имя файла Fluent и webhdfs с 197001011
Я запускаю td-agent на Ubuntu 14.04 со следующей конфигурацией:
<source>
type tail
format json
path /path/tomcat/logs/file-input.log
tag bhc.hdfs
pos_file /var/td-agent/file.pos
</source>...
351 просмотров
schedule
26.10.2023
HADOOP/YARN. Всегда ли ResourceManager и узел hdfs NameNode устанавливаются на одном и том же хосте?
Всегда ли установлены «диспетчер ресурсов» и «узел имен hdfs» на одном и том же хосте?
1) Когда я хочу отправить http-запрос (YARN REST API) на получить новый идентификатор приложения Я использую этот веб-URI:
http://<rm http...
6100 просмотров
schedule
29.12.2023
Как прочитать файл hdfs с помощью webhdfs с защищенного узла?
Я хотел бы сделать вызов webhdfs для извлечения файла из защищенного узла с помощью Java.
Вот что я делаю 1. Войдите в систему с помощью keytab (отлично работает). Я получаю билет kerberos 2. Теперь, когда я пытаюсь вызвать приведенный ниже код,...
591 просмотров
schedule
28.10.2023
WebHDFS REST API и R
Поддерживается ли использование API REST WebHDFS в R? Что-то похожее на пакет Python ?
547 просмотров
schedule
18.02.2024
В Hadoop есть ли ограничение на размер данных, к которым можно получить доступ через knox + webhdfs?
В Hadoop есть ли ограничение на размер данных, к которым можно получить доступ / загрузить в HDFS через knox + webhdfs?
2305 просмотров
schedule
15.04.2024
Создайте файл hdfs с помощью pywebhdfs и получите сообщение об ошибке: [Errno -2] Имя или служба неизвестна
Некоторая информация о моей среде разработки:
openstack: Джуно
хауп: 2.4.1
pywebhdfs: 0.4.0
Я создаю кластер Hadoop через клиентский API openstack sahara, затем хочу создать файл в HDFS, используя pywebhdfs (для запуск заданий на...
990 просмотров
schedule
04.05.2023
Параллелизм Azure Data Lake Store
Я играл с Azure Data Lake Store, и в документации Microsoft утверждает, что система оптимизирована для небольших операций записи в файлы с малой задержкой. Тестируя его, я попытался выполнить большое количество операций записи параллельных задач в...
1208 просмотров
schedule
17.04.2023
Значение маски не отображается в GETFACL с использованием webhdfs
В Hadoop я включил авторизацию. Я установил несколько acl для каталога.
Когда я выполняю команду getfacl в бине hadoop, я вижу в ней значение маски.
hadoop fs -getfacl /Kumar
# file: /Kumar
# owner: Kumar
# group: Hadoop
user::rwx...
210 просмотров
schedule
20.12.2023
Как вывести список содержимого каталога HDFS с помощью webhdfs?
Можно ли проверить содержимое каталога в HDFS с помощью webhdfs ?
Это будет работать как обычно hdfs dfs -ls , но вместо этого будет использоваться webhdfs .
Как мне указать каталог webhdfs с помощью Python 2.6 для этого?
4750 просмотров
schedule
03.09.2022
webhdfs создает исключение файла
Я использую Hadoop 2.7.1 на Centos 7.
Если я хочу использовать webhdfs с кластером Hadoop
Я должен настроить это свойство
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>...
986 просмотров
schedule
03.04.2023
