Кто-нибудь может объяснить основные различия между HDFS и Grid Computing?
В чем разница между грид-вычислениями и HDFS (распределенная файловая система Hadoop)?
Ответы (3)
Я думаю, вам нужно заменить HDFS на Hadoop в своем вопросе.
Hadoop — это платформа, позволяющая выполнять распределенную обработку больших наборов данных в кластерах обычных компьютеров с помощью простой модели программирования — платформы Map Reduce на основе YARN (Еще один посредник по согласованию ресурсов).
HDFS — это файловая система, предназначенная для хранения очень больших файлов с шаблонами потокового доступа к данным, запускающих кластеры на общедоступном оборудовании.
Подход Grid Computing основан на распределении работы по кластеру машин, которые имеют доступ к общей файловой системе, размещенной в сети хранения данных (SAN). Это хорошо работает для преимущественно ресурсоемких задач, но становится проблемой, когда узлам требуется доступ к большим объемам данных.
HDFS - это просто файловая система. Поскольку вы сравниваете обработку данных, вам необходимо сравнить грид-вычисления с Hadoop Map Reduce (YARN) вместо HDFS.
Hadoop пытается совместить данные с вычислительными узлами, поэтому доступ к данным осуществляется быстро, поскольку он является локальным. Эта функция, известная как локальность данных, лежит в основе обработки данных в Hadoop и является причиной ее высокой производительности.
Вы можете обратиться к Hadoop, Полное руководство (4-е издание), чтобы лучше понять концепции.
Чем Hadoop отличается от других распределенных систем
- масштабирование
- проверенная технология
- бюджетный
- используется большими гигантами
Распределенная файловая система Hadoop (HDFS) — это распределенная файловая система, предназначенная для работы на обычном оборудовании. Он имеет много общего с существующими распределенными файловыми системами. Однако отличия от других распределенных файловых систем существенны. HDFS обладает высокой отказоустойчивостью и предназначена для развертывания на недорогом оборудовании. HDFS обеспечивает высокоскоростной доступ к данным приложений и подходит для приложений с большими наборами данных. HDFS смягчает некоторые требования POSIX, чтобы обеспечить потоковый доступ к данным файловой системы.
но....
Грид-вычисления — это сбор компьютерных ресурсов из разных мест для достижения общей цели. Грид можно рассматривать как распределенную систему с неинтерактивными рабочими нагрузками, включающими большое количество файлов. Грид-вычисления отличаются от обычных высокопроизводительных вычислительных систем, таких как кластерные вычисления, тем, что грид-компьютеры имеют каждый узел, настроенный для выполнения отдельной задачи/приложения. Grid-компьютеры также имеют тенденцию быть более разнородными и географически рассредоточенными (поэтому не связанными физически), чем кластерные компьютеры. Хотя одна сетка может быть предназначена для конкретного приложения, обычно сетка используется для различных целей. Сетки часто создаются с помощью универсальных программных библиотек промежуточного программного обеспечения.
Я думаю, что hdfs не имеет отношения к грид-вычислениям. или, возможно, он используется в супервиртуальных компьютерах в сетке