Apache Flink против Twitter Heron?

Есть много вопросов, сравнивающих Flink и Spark Streaming, Flink vs Storm и Storm vs Heron.

Этот вопрос возникает из-за того, что и Apache Flink, и Twitter Heron являются настоящими фреймворками потоковой обработки (а не микропакетами, такими как Spark Streaming). В прошлом году Twitter отключил Storm, и вместо этого они используют Heron (который, по сути, является переработанным Storm).

Есть хорошие презентации Слима Балтаги о Flink и Flink vs Spark: https://www.youtube.com/watch?v=G77m6Ou_kFA

Хорошее исследование Ильи Ганелина о различных стриминговых платформах: https://www.youtube.com/watch?v=KkjhyBLupvs

Довольно интересные мысли о Flink vs Storm: В чем основное различие между Flink и Storm?

Но я не видел сравнения новых Storm / Heron и Apache Flink.

Оба проекта довольно молоды, оба поддерживают использование ранее написанных приложений Storm и многое другое. Flink больше подходит для экосистемы Hadoop, Heron - для экосистемы, основанной на Twitter.

Есть предположения?


twitter apache-flink flink-streaming apache-storm heron
person experimenter    schedule 04.06.2016    source источник
comment
Вы смотрели статью в Твиттере о Хероне? В нем описаны основные различия между обеими системами. Однако имейте в виду, что Storm добился большого прогресса с момента публикации этой статьи: dl.acm. org / citation.cfm? id = 2742788 Если вы понимаете различия между Storm и Heron и знаете кое-что о Flink, вы увидите, чем он отличается от Flink.   -  person Matthias J. Sax    schedule 08.06.2016

Ответы (2)


arrow_upward
2
arrow_downward

Все моменты в упомянутой статье сравнение Apache Flink и Apache Storm также применимо к Twitter Heron. Heron предоставляет точно такую ​​же семантику и функциональность, что и Storm. На самом деле Heron лучше всего понимать просто как повторную реализацию Storm, которая лучше соответствует эксплуатационным требованиям Twitter.

person Jamie Grier    schedule 06.06.2016
comment
Спасибо. И да, это правда, но Heron оптимизирован, он может поддерживать такие функции, как динамическое изменение топологии и масштабирование, что может быть лучше, чем Flink, который пока этого не поддерживает. Интересен именно тот факт, что Heron - это повторно реализованный Storm, потому что он добавляет новые функции, которые меняют взгляд на существующие фреймворки. - person experimenter; 07.06.2016
comment
Начиная с Storm 1.0, в систему были внесены основные улучшения; таким образом, уже не все верно. То же самое и с Flink ... Вы всегда должны сравнивать разные версии или, по крайней мере, иметь в виду, что SO отвечает на дату выхода, поскольку эти проекты развиваются очень быстро. - person Matthias J. Sax; 08.06.2016
comment
Извините. Чтобы уточнить, это именно то, что я пытаюсь сказать. Heron не добавляет никаких новых основных функций, связанных с семантикой, гарантиями обработки, динамической модификацией топологии, динамическим масштабированием и т. Д. Улучшения носят оперативный характер, но не содержат новых основных функций по сравнению с Storm, и в некоторых отношениях Storm на самом деле имеет более продвинутые функции прямо сейчас . Тем не менее, Heron вполне подходит для операционных нужд Twitter. - person Jamie Grier; 08.06.2016

arrow_upward
0
arrow_downward

Heron, движок потоковой обработки, разработанный twitter и переданный Apache 26 февраля 2018 года. По данным Twitter, пропускная способность во всех экспериментах в 10–14 раз выше, чем у Storm. Аналогично, задержка в 5-15 раз ниже. чем задержка Шторма.

Помимо пропускной способности и задержки, которые он обеспечивает

  • Простая отладка (каждая задача выполняется изолированно на уровне процесса).
  • Обработка пиков и скоплений (с использованием механизма противодавления).
  • Полная обратная совместимость со Storm, что означает, что требуются только изменения файла pom.

https://blog.twitter.com/engineering/en_us/a/2015/flying-faster-with-twitter-heron.html https://apache.github.io/incubator-heron/

person pankaj birat    schedule 26.03.2018
comment
Ссылки на внешние ресурсы приветствуются, но, пожалуйста, добавьте контекст вокруг ссылки, чтобы ваши друзья-пользователи имели некоторое представление о том, что это такое и почему. Всегда указывайте наиболее релевантную часть важной ссылки, если целевой сайт недоступен или постоянно отключен. - person baduker; 26.03.2018
comment
@baduker Спасибо за предложение. Уже упомянутые ключевые моменты из моих выводов добавят к нему больше контекста. - person pankaj birat; 27.03.2018
comment
Ссылки на twitter.github.io/heron мертвы. - person Mike Harris; 08.11.2018