В чем разница между грид-вычислениями и HDFS (распределенная файловая система Hadoop)?

Кто-нибудь может объяснить основные различия между HDFS и Grid Computing?


person enes.acikoglu    schedule 12.11.2014    source источник


Ответы (3)


Я думаю, вам нужно заменить HDFS на Hadoop в своем вопросе.

Hadoop — это платформа, позволяющая выполнять распределенную обработку больших наборов данных в кластерах обычных компьютеров с помощью простой модели программирования — платформы Map Reduce на основе YARN (Еще один посредник по согласованию ресурсов).

HDFS — это файловая система, предназначенная для хранения очень больших файлов с шаблонами потокового доступа к данным, запускающих кластеры на общедоступном оборудовании.

Подход Grid Computing основан на распределении работы по кластеру машин, которые имеют доступ к общей файловой системе, размещенной в сети хранения данных (SAN). Это хорошо работает для преимущественно ресурсоемких задач, но становится проблемой, когда узлам требуется доступ к большим объемам данных.

HDFS - это просто файловая система. Поскольку вы сравниваете обработку данных, вам необходимо сравнить грид-вычисления с Hadoop Map Reduce (YARN) вместо HDFS.

Hadoop пытается совместить данные с вычислительными узлами, поэтому доступ к данным осуществляется быстро, поскольку он является локальным. Эта функция, известная как локальность данных, лежит в основе обработки данных в Hadoop и является причиной ее высокой производительности.

Вы можете обратиться к Hadoop, Полное руководство (4-е издание), чтобы лучше понять концепции.

person Ravindra babu    schedule 30.08.2015

Чем Hadoop отличается от других распределенных систем

  • масштабирование
  • проверенная технология
  • бюджетный
  • используется большими гигантами
person osmjit    schedule 29.08.2015

Распределенная файловая система Hadoop (HDFS) — это распределенная файловая система, предназначенная для работы на обычном оборудовании. Он имеет много общего с существующими распределенными файловыми системами. Однако отличия от других распределенных файловых систем существенны. HDFS обладает высокой отказоустойчивостью и предназначена для развертывания на недорогом оборудовании. HDFS обеспечивает высокоскоростной доступ к данным приложений и подходит для приложений с большими наборами данных. HDFS смягчает некоторые требования POSIX, чтобы обеспечить потоковый доступ к данным файловой системы.

но....

Грид-вычисления — это сбор компьютерных ресурсов из разных мест для достижения общей цели. Грид можно рассматривать как распределенную систему с неинтерактивными рабочими нагрузками, включающими большое количество файлов. Грид-вычисления отличаются от обычных высокопроизводительных вычислительных систем, таких как кластерные вычисления, тем, что грид-компьютеры имеют каждый узел, настроенный для выполнения отдельной задачи/приложения. Grid-компьютеры также имеют тенденцию быть более разнородными и географически рассредоточенными (поэтому не связанными физически), чем кластерные компьютеры. Хотя одна сетка может быть предназначена для конкретного приложения, обычно сетка используется для различных целей. Сетки часто создаются с помощью универсальных программных библиотек промежуточного программного обеспечения.

Я думаю, что hdfs не имеет отношения к грид-вычислениям. или, возможно, он используется в супервиртуальных компьютерах в сетке

person abhik lodh    schedule 12.11.2014
comment
Копирование и вставка должны быть указаны/зачислены. (1) hadoop.apache.org/docs/r1.2.1/hdfs_design.html (2) en.wikipedia.org/wiki/Grid_computing - person go2null; 30.10.2015