Получение «проверки flume.conf на наличие изменений» в цикле

Я использую Apache Flume 1.4.0 для сбора файлов журнала (auth.log) и хранения в HDFS (Hadoop 2.6.0). Используемая команда:

 bin/flume-ng agent --conf ./conf/ -f flume.conf -Dflume.root.logger=DEBUG,console -n agent

Файл flume.conf содержит следующее:

agent.channels.memory-channel.type = memory

agent.sources.tail-source.type = exec
agent.sources.tail-source.command = tail -F /var/log/auth.log
agent.sources.tail-source.channels = memory-channel

agent.sinks.log-sink.channel = memory-channel
agent.sinks.log-sink.type = logger
agent.sinks.hdfs-sink.channel = memory-channel
agent.sinks.hdfs-sink.type = hdfs
agent.sinks.hdfs-sink.hdfs.path = hdfs://localhost:54310/usr/auth.log
agent.sinks.hdfs-sink.hdfs.fileType = DataStream

agent.channels = memory-channel
agent.sources = tail-source
agent.sinks = log-sink hdfs-sink

После выполнения команды в цикле повторяется следующее сообщение:

(conf-file-poller-0) [DEBUG - org.apache.flume.node.PollingPropertiesFileConfigurationProvider$FileWatcherRunnable.run(PollingPropertiesFileConfigurationProvider.java:126)] Checking file:flume.conf for changes

Что может быть причиной ?


ubuntu hadoop flume flume-ng
person User456898    schedule 17.03.2015    source источник

Ответы (1)


arrow_upward
5
arrow_downward

Flume по умолчанию проверяет каждые 30 секунд (это жестко запрограммированы) файлы конфигурации, которые ищут изменения. В этом случае он повторно создает затронутый компонент (источник, приемник или канал), чтобы применить новую конфигурацию. Если вы хотите отключить это поведение, просто запустите агент с параметром --no-reload-conf.

person frb    schedule 18.03.2015
comment
Внес изменения. Большое спасибо. - person User456898; 19.03.2015