Я пытаюсь настроить поток таким образом, чтобы каждый агент мог иметь несколько приемников и, в конечном итоге, несколько каналов и источников (пока что мы рассматриваем только несколько каналов). У меня есть файл конфигурации, который выглядит как этот и рубиновый шаблон. Я не понимаю, как добавить функциональность в файл шаблона, чтобы каждый агент мог отправлять событие на несколько каналов.
Flume — несколько приемников и каналов для одного агента
Ответы (1)
Внутри вашего агента Flume ваш источник будет в основном передавать данные нескольким агентам. FlumeNG по умолчанию поддерживает мультиплексирование событий в разные каналы. Для этого есть два варианта:
Репликация источника: реплицируйте все данные из вашего источника во все каналы.
Выборочная отправка: выборочная отправка некоторых данных на ваши каналы на основе определенных условий.
Синтаксис для этого в flume будет примерно таким:
dataplatform.sources.source1.selector.type = replicating (or multiplexing)
(при условии, что имя агента - платформа данных)
Вы можете направить данные из вашего источника на несколько каналов следующим образом:
dataplatform.sources.source1.channels = channel1 channel2 channel3
Дополнительные сведения об этом см. в руководстве пользователя flume-ng: https://flume.apache.org/FlumeUserGuide.html
person
Amar
schedule
28.07.2015
Я просмотрел руководство и смог настроить несколько каналов. Любая идея, как связать каждый канал с несколькими приемниками? Могу задать отдельный вопрос, если есть решение
- person Beginner; 28.07.2015
Один канал в флюме может записывать в несколько приемников, но эта возможность обычно используется для балансировки нагрузки или аварийного переключения. Ознакомьтесь с процессорами Flume Sink в руководстве пользователя.
- person Amar; 29.07.2015
agent.sources.app-log-source.channels = channel1 channel2. Это ты хочешь? - person ymonad schedule 28.07.2015