WebHDFS против HttpFS

В чем разница между API REST WebHDFS и HttpFS?

Если я правильно понимаю:

  • HttpFS — это независимая служба, которая предоставляет REST API поверх HDFS.
  • WebHDFS — это REST API, встроенный в HDFS. Не требует дополнительной установки

Я прав?

Когда было бы целесообразно использовать один вместо другого?


hadoop webhdfs
person Santiago Cepas    schedule 30.07.2014    source источник

Ответы (1)


arrow_upward
19
arrow_downward

Я прочитал статью, связанную с вашим вопросом. ниже ссылка.

https://www.linkedin.com/today/post/article/20140717115238-176301000-accessing-hdfs-using-the-webhdfs-rest-api-vs-httpfs

WebHDFS и HttpFs Основное различие между WebHDFS и HttpFs: WebHDFS требуется доступ ко всем узлам кластера, и когда некоторые данные считываются, они передаются с этого узла напрямую, тогда как в HttpFs отдельный узел будет действовать аналогично «шлюзу». " и будет единой точкой передачи данных на клиентский узел. Таким образом, HttpF может быть заблокирован во время передачи большого файла, но хорошо то, что мы сводим к минимуму объем памяти, необходимый для доступа к HDFS.

person Likoed    schedule 03.09.2014