имя файла Fluent и webhdfs с 197001011

Я запускаю td-agent на Ubuntu 14.04 со следующей конфигурацией:


    <source>
     type tail
     format json
     path /path/tomcat/logs/file-input.log
     tag bhc.hdfs
     pos_file /var/td-agent/file.pos
     </source>

    <match bhc.hdfs>
     type webhdfs
     port 50070
     host my.host.name
     path /hdfs/path/file.${hostname}.%Y%m%d.log
     username user
     flush_interval 10s
     output_include_time false
     output_include_tag false
     output_data_type json
    </match>

Исходные файлы журнала в каталоге /path/tomcat/logs/file-input.log содержат только структурированные данные json. Демон NTP установлен и работает, но когда td-agent создает файл в hdfs, дата в имени файла равна 19700101. Что не так?


fluentd webhdfs fluent
person critical    schedule 11.03.2015    source источник

Ответы (1)


arrow_upward
1
arrow_downward

У записей Fluentd есть время, а плагин webhdfs создает файлы с отметкой времени этой записи, а не с текущим временем.

Плагин tail по умолчанию использует поле с именем time для времени записи. Если в ваших данных журнала есть какое-либо другое поле информации о времени, вы можете указать его с помощью time_key и time_format.

См. также: http://docs.fluentd.org/articles/in_tail

person Satoshi Tagomori    schedule 12.03.2015
comment
Спасибо @Satoshi, но зачем настраивать демон ntp? - person critical; 12.03.2015
comment
Демон @critical NTP предназначен только для получения точного времени по часам сервера. - person Satoshi Tagomori; 17.03.2015