Как развернуть кластер HDP без HDFS?

Как развернуть кластер HDP без HDFS, так как мне не нужна HDFS для хранения и я буду использовать внутреннюю систему хранения в оперативной памяти. Как это может быть сделано?


person JuhiKude    schedule 25.02.2019    source источник


Ответы (2)


HDFS и MapReduce являются основной внутренней частью Hadoop. Они встроены в пакет Hadoop. Вы не можете исключить HDFS при развертывании кластера HDP. Вы можете исключить другие службы, кроме HDFS, но вы не можете исключить HDFS.

person Iamvinay    schedule 06.03.2019

HDFS — это реализация API файловой системы Hadoop, которая моделирует поведение файловой системы POSIX.

Вероятно, вы иногда имеете в виду хранилища объектов, часто используя термин Blobstore. Hadoop предоставляет клиентские классы файловой системы для некоторых из них, несмотря на то, что они нарушают многие требования. Вот почему, хотя Hadoop может считывать и записывать данные в хранилище объектов, два из них, для которых Hadoop поставляется с прямой поддержкой — Amazon S3 и OpenStack Swift — не могут использоваться в качестве прямой замены HDFS.

Для дальнейшего чтения Хранилища объектов и файловые системы

person proutray    schedule 13.03.2019