Разъяснение по созданию индекса/шаблона индекса Logstash

Перешли по этой эластичной ссылке: Анализ ваших первых журналов с помощью logstash

отлично работает, и я могу использовать Discover для просмотра журналов Apache в Kibana. Ура!

Итак, теперь у меня есть журналы Palo FW, и я изменил файл Filebeat из руководства следующим образом:

paths:
- /var/log/logstash/logstash-tutorial.log
- /var/log/PaloaltoFW/PA-220-Dev.log

И я получаю ОШИБКУ в Kibana в шаблонах индексов для filebeat-*, что исправляется, если я переключаюсь на один из учебника logstash-%DATE-00001 по умолчанию!

трубопроводы.yml

- pipeline.id: sample
path.config: "/etc/logstash/conf.d/first-pipeline.conf"

- pipeline.id: main
  path.config: "/etc/logstash/conf.d/PaloFW-pipeline.conf"

- pipeline.id: rsyslog
  path.config: "/etc/logstash/conf.d/rsyslog.conf"

Также я удаляю файлы реестра из filebeat.

Мой PaloFW-pipeline.conf:

# The # character at the beginning of a line indicates a comment. Use
# comments to describe your configuration.
input {
beats {
port => "5044"
type => "syslog"
}
}
# The filter part of this file is commented out to indicate that it is
# optional.
filter {
if [type] == "syslog" {
grok {
match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:[%{POSINT:syslog_pid}])?: %{GREEDYDATA:syslog_message}" }
add_field => [ "received_at", "%{@timestamp}" ]
add_field => [ "received_from", "%{host}" ]
}
date {
match => [ "syslog_timestamp", "MMM d HH:mm:ss", "MMM dd HH:mm:ss" ]
}
}
kv {}
}
output {
elasticsearch {
hosts => [ "10.10.69.20:9200" ]
}
}

Теперь я могу видеть журналы в Kibana, но мне пришлось переключиться на мой индекс по умолчанию, и filebeat-* все еще получает ошибку в начале сообщения. В идеале я хочу проанализировать tutorial.log и мой firewall.log на сервере logstash и показать их как отдельные индексы и шаблоны индексов... как только я это сделаю, я перейду к другим вариантам использования.

Таким образом, они загружаются в индекс из учебника logstash-%DATE%-0001, и я могу их видеть, мои фильтры могли бы быть лучше. Но мне нужно разобраться, как работают индексы и могу ли я использовать filebeat для более чем 1 .log и создать более 1 индекса.

Большое спасибо сообществу за любые разъяснения!