Ведение журнала приложений Docker с помощью Filebeat и Logstash

Docker позволяет указать используемый logDriver. Этот ответ не заботится о Filebeat или балансировке нагрузки.

В презентации я использовал syslog для пересылки журналов в экземпляр Logstash (ELK), прослушивающий порт 5000. Следующая команда постоянно отправляет сообщения через syslog в Logstash:

docker run -t -d --log-driver=syslog --log-opt syslog-address=tcp://127.0.0.1:5000 ubuntu /bin/bash -c 'while true; do echo "Hello $(date)"; sleep 1; done'

Вот один из способов перенаправить docker logs в стек ELK (для драйвера журнала gelf требуется docker> = 1.8):

1. Запустите контейнер Logstash с помощью плагина ввода gelf для чтения из gelf и вывода на хост Elasticsearch (ES_HOST: порт):

   docker run --rm -p 12201:12201/udp logstash \
       logstash -e 'input { gelf { } } output { elasticsearch { hosts => ["ES_HOST:PORT"] } }'
   

2. Теперь запустите контейнер Docker и используйте драйвер ведения журнала Docker gelf. . Вот глупый пример:

   docker run --log-driver=gelf --log-opt gelf-address=udp://localhost:12201 busybox \
       /bin/sh -c 'while true; do echo "Hello $(date)"; sleep 1; done'
   

3. Загрузите Кибану, и теперь видны вещи, которые могли бы приземлиться в docker logs. исходный код gelf показывает что для вас созданы удобные поля (подсказка: Кристоф Лабуисс): _container_id, _container_name, _image_id, _image_name, _command, _tag, _created.

Если вы используете docker-compose (убедитесь, что используете docker-compose> = 1.5) и добавьте соответствующие настройки в docker-compose.yml после запуска контейнера logstash:

log_driver: "gelf"
log_opt:
  gelf-address: "udp://localhost:12201"

Используя filebeat, вы можете просто передать docker logs вывод, как вы описали. Поведение, которое вы видите, определенно звучит как ошибка, но также может быть поражающей вас конфигурацией частичного чтения строки (повторно отправляйте частичные строки, пока не будет найден символ новой строки).

Проблема, которую я вижу с трубопроводом, - это возможное противодавление в случае, если logstash недоступен. Если filebeat не может отправлять какие-либо события, он будет буферизовать события внутри и в какой-то момент прекратит чтение из stdin. Не знаю, как / если докер защищает от зависания stdout. Другая проблема с конвейером может заключаться в поведении перезапуска filebeat + docker, если вы используете docker-compose. docker-compose по умолчанию повторно использует изображения + состояние изображения. Поэтому при перезапуске вы снова отправите все старые журналы (учитывая, что базовый файл журнала еще не был повернут).

Вместо того, чтобы использовать конвейер, вы можете попытаться прочитать файлы журнала, записанные докером, в хост-систему. Драйвер журнала Docker по умолчанию - это драйвер журнала json. Вы можете и должны настроить драйвер журнала json для ротации журналов + сохранения некоторых старых файлов (для буферизации на диске). См. Параметры max-size и max-file. Драйвер json помещает одну строку данных json для каждой строки, которая будет записана. В системе хоста докеров файлы журнала записываются в /var/lib/docker/containers/container_id/container_id-json.log. Эти файлы будут отправлены filebeat в logstash. Если logstash или сеть становятся недоступными или перезапускается filebeat, он продолжает пересылать строки журнала туда, где они остались (данные файлы не были удалены из-за ротации журналов). Никакие события не будут потеряны. В logstash вы можете использовать кодек или фильтр json_lines для анализа строк json и фильтр grok, чтобы получить дополнительную информацию из ваших журналов.

Было некоторое обсуждение использования libbeat (используется filebeat для доставки файлов журналов) для добавления новый драйвер журнала для докера. Возможно, в будущем можно будет собирать журналы через dockerbeat, используя api журналов докеров (я не хотя известно о каких-либо планах по использованию API журналов).

Также можно использовать системный журнал. Возможно, вы можете получить какое-то реле syslog для событий журнала балансировки нагрузки хоста докера. Или пусть syslog записывает файлы журнала и использует filebeat для их пересылки. Я думаю, что в rsyslog есть хоть какой-то режим аварийного переключения. Вы можете использовать модуль ввода logstash syslog и rsyslog для пересылки журналов в logstash с поддержкой аварийного переключения на случай, если активный экземпляр logstash станет недоступен.

Я создал свой собственный образ докера, используя Docker API, чтобы собрать журналы контейнеров, запущенных на машине, и отправить их в Logstash благодаря Filebeat. Не нужно ничего устанавливать или настраивать на хосте.

Проверьте это и скажите, соответствует ли он вашим потребностям: https://hub.docker.com/r/bargenson/filebeat/.

Код доступен здесь: https://github.com/bargenson/docker-filebeat

Просто чтобы помочь другим, которые в этом нуждаются, вы можете просто использовать Filebeat для отправки журналов. Я бы использовал контейнер от @ brice-argenson, но мне нужна была поддержка SSL, поэтому я выбрал локально установленный экземпляр Filebeat.

Поисковик из filebeat (повторите для других контейнеров):

- input_type: log
  paths:
    - /var/lib/docker/containers/<guid>/*.log
  document_type: docker_log
  fields:
    dockercontainer: container_name

Немного отстойно, что вам нужно знать идентификаторы GUID, поскольку они могут измениться при обновлениях.

На сервере logstash настройте обычный источник ввода filebeat для logstash и используйте такой фильтр:

filter {
  if [type] == "docker_log" {
    json {
      source => "message"
      add_field => [ "received_at", "%{@timestamp}" ]
      add_field => [ "received_from", "%{host}" ]
    }
    mutate {
      rename => { "log" => "message" }
    }
    date {
      match => [ "time", "ISO8601" ]
    }
  }
}

Это проанализирует JSON из журналов Docker и установит метку времени на ту, о которой сообщает Docker.

Если вы читаете логи из образа nginx Docker, вы также можете добавить этот фильтр:

filter {
  if [fields][dockercontainer] == "nginx" {
    grok {
      match => { "message" => "(?m)%{IPORHOST:targethost} %{COMBINEDAPACHELOG}" }
    }
    mutate {
      convert => { "[bytes]" => "integer" }
      convert => { "[response]" => "integer" }
    }
    mutate {
      rename => { "bytes" => "http_streamlen" }
      rename => { "response" => "http_statuscode" }
    }
  }
}

Преобразование / переименование не является обязательным, но исправляет упущение в выражении COMBINEDAPACHELOG, когда оно не приводит эти значения к целым числам, что делает их недоступными для агрегирования в Kibana.

Я проверил то, что erewok написал выше, в комментарии:

Согласно документации, вы должны иметь возможность использовать такой шаблон в ваших prospectors.paths: /var/lib/docker/containers/*/*.log - erewok 18 апр в 21:03

Руководства контейнера докеров, представленные как первый символ "*", правильно разрешаются при запуске filebeat. Я не знаю, что происходит при добавлении контейнеров.