Twitter Storm против Apache Hadoop

Было бы здорово, если бы кто-нибудь мог объяснить мне архитектурные различия между Twitter Storm и Apache Hadoop? Я ищу некоторые внутренние вещи, помимо пакетной обработки в реальном времени. Поскольку обе технологии довольно похожи с точки зрения написания топологии для Storm или map-reduce на Hadoop, с точки зрения трекера задач / трекера заданий для Hadoop и эквивалентного нимба / супервизора для Storm, с точки зрения раздела Hadoop и эквивалентного перемешивания (случайное , поле и т. д.) на Storm и т. д. (Правильно ли я говорю, что Storm использует внутренние очереди сообщений для передачи данных между носиками / болтами, что не совсем так с Hadoop, где создаются промежуточные файлы и, следовательно, ввод-вывод вовлеченный.)

РЕДАКТИРОВАТЬ:

Я рассмотрел вопрос Apache Storm по сравнению с Hadoop, но принят ответ оставляет меня с желанием знать больше, чем просто вариант использования, то есть пакетную обработку в реальном времени или пакетную обработку.


person Yavar    schedule 07.08.2013    source источник
comment
Архитектура надежных систем обычно почти одинакова. Как вы отметили, единственная реальная разница - это стратегия хранения и отправки данных.   -  person Thomas Jungblut    schedule 07.08.2013


Ответы (2)


Основное отличие заключается в том, что Storm может обрабатывать потоки Tupple (входящие данные) в реальном времени, в то время как Hadoop выполняет пакетную обработку с заданиями MapReduce.

Оба они обрабатывают данные распределенным образом, но с Storm вы можете иметь аналитику в реальном времени, пока вам придется дождаться завершения задания mapreduce, прежде чем играть с вашими результатами.

person tom    schedule 19.09.2013

Натан Марц (создатель Storm) пишет книгу о больших данных, в которой обсуждает, как создавать системы больших данных. с Hadoop, Storm и другими технологиями.

В книге обсуждается «Лямбда-архитектура». Посмотрите этот слайд, сделанный самим Натаном Марцем: Безудержная сложность больших данных ... и план по их устранению

person Chiron    schedule 07.08.2013
comment
Я слишком долго ждал выхода книги. - person anhldbk; 09.06.2014