Почему Filebeats не отправляет журналы создания Docker?

Я следуюэто руководство для настройки стека ELK (VPS B), который будет получать некоторые журналы изображений Docker/docker compose (VPS A) с использованием Beatfile в качестве пересылки, моя схема показана ниже введите здесь описание изображения

До сих пор мне удалось заставить работать все интерфейсы с зелеными галочками. Тем не менее, все еще остаются некоторые проблемы, в которых я не могу понять. Таким образом, я был бы признателен, если бы кто-то мог мне немного помочь с этим.

Моя главная проблема заключается в том, что я не получаю журнал Docker/docker-compose из VPSA на сервер Filebeat VPSB; тем не менее, я получил другие журналы от VPSA, такие как rsyslog, журнал аутентификации и т. д. на сервере Filebeat VPSB. Я настроил свой файл docker-compose для пересылки журналов с использованием rsyslog в качестве драйвера ведения журнала, а затем filebeat пересылает этот системный журнал в VPSB. Достигнув этого момента, я вижу журналы самого демона докера, такие как виртуальные интерфейсы вверх/вниз, процесс запуска и т. д., но не журналы «отладки» самих контейнеров.

Конфигурация клиента Filebeat в VPSA выглядит так

root@VPSA:/etc/filebeat# cat filebeat.yml 
filebeat:
  prospectors:
    -
      paths:
        - /var/log/auth.log
        - /var/log/syslog
#        - /var/log/*.log


      input_type: log

      document_type: syslog

  registry_file: /var/lib/filebeat/registry

output:
  logstash:
    hosts: ["ipVPSB:5044"]
    bulk_max_size: 2048

    tls:
      certificate_authorities: ["/etc/pki/tls/certs/logstash-forwarder.crt"]

shipper:

logging:
  files:
    rotateeverybytes: 10485760 # = 10MB
    level: debug

Один из драйверов ведения журнала docker-compose выглядит так

redis:
    logging: 
       driver: syslog
       options:
           syslog-facility: user

Напоследок хотелось бы спросить, можно ли нативно из docker-composer пересылать логи в клиент Filebeat в VPSA, красная стрелка на диаграмме, чтобы он мог пересылать их на мой VPSB.

Большое спасибо,

С уважением!!


docker docker-compose filebeat logstash elasticsearch
person ndarkness    schedule 19.10.2016    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Проблема, похоже, была в FileBeat VPSA, поскольку он должен собирать данные из системного журнала, его нужно запускать до этого системного журнала!

Обновление rc.d помогло

sudo update-rc.d filebeat defaults 95 10

Мой файл beats.yml если кому надо

root@VPSA:/etc/filebeat# cat filebeat.yml 
filebeat:
  prospectors:
    -
      paths:
#        - /var/log/auth.log
        - /var/log/syslog
#        - /var/log/*.log


      input_type: log
      ignore_older: 24h
      scan_frequency: 10s      
      document_type: syslog

  registry_file: /var/lib/filebeat/registry

output:
  logstash:
    hosts: ["ipVPSB:5044"]
    bulk_max_size: 2048

    tls:
      certificate_authorities: ["/etc/pki/tls/certs/logstash-forwarder.crt"]

shipper:

logging:
  level: debug
  to_files: true
  to_syslog: false
  files:
    path: /var/log/mybeat
    name: mybeat.log
    keepfiles: 7
    rotateeverybytes: 10485760 # = 10MB

С Уважением

person ndarkness    schedule 20.10.2016