Вопросы по теме 'filebeat'
Logstash с одним входом и несколькими выходами
Я настроил logstash для получения ввода с одного порта filebeat. Filebeat настроен с двумя разными путями. можно ли отображать логи на два разных индекса?
Входная часть Logstash:
input{
beats
{
type => "stack"
port =>...
825 просмотров
schedule
15.06.2023
Генерация настраиваемых полей filebeat
У меня есть кластер elasticsearch (ELK) и несколько узлов, отправляющих журналы в logstash с помощью filebeat. Все серверы в моей среде — CentOS 6.5.
Файл filebeat.yml на каждом сервере поддерживается модулем Puppet (и мой рабочий, и тестовый...
22761 просмотров
schedule
29.05.2022
Filebeat с ELK ›как эффективно создавать индексы для каждого файла журнала
Я планирую использовать Filebeat (s) для копирования файлов журнала из заранее определенного каталога каждого узла в общую базу данных Elasticsearch с помощью Logstash. Например, в исходном каталоге есть 10 файлов журнала с одинаковым форматом...
1341 просмотров
schedule
12.02.2023
В чем смысл REDIS в стеке ELK?
В настоящее время у меня есть архитектура с filebeat в качестве отправителя журналов, которая отправляет журналы в экземпляр индексатора хранилища журналов, а затем в управляемый эластичный поиск в AWS. Из-за постоянных TCP-соединений я не могу...
8541 просмотров
schedule
20.12.2022
Можно ли записать выражение Grok для обогащения файлов журнала в FileBeat перед отправкой в Logstash / эластичный поиск
Мой вариант использования - отправлять файлы журналов из различных приложений в Elasticsearch, чтобы я мог просматривать их из Kibana.
Я хотел знать, можно ли настроить Filebeat для выражения Grok, чтобы группа приложений могла управлять своим...
462 просмотров
schedule
03.03.2022
Filebeat многострочный синтаксический анализ исключения Java в контейнере докеров не работает
Я запускаю Filebeat для отправки журналов из службы Java, работающей в контейнере. В этом контейнере работает много других служб, и тот же демон Filebeat собирает все журналы контейнера, запущенные на хосте. Filebeat пересылает журналы в Logstash,...
5451 просмотров
schedule
15.08.2022
Logstash: невозможно отфильтровать пользовательский журнал apache vhost_combined и опубликовать их в Elasticsearch
Мне нужно отфильтровать следующий формат журнала apache vhost с помощью Geo IP. Так что грок может понять и работать гладко.
Точный формат журнала:
LogFormat "%V:%p %h %l %u %t \"%r\" %>s %O %T %D \"%{Referer}i\" \"%{User-Agent}i\""...
507 просмотров
schedule
19.09.2022
Filebeat в Windows 2012 R2
Я использую Filebeat> Logstash> Elasticsearch> Kibana для синтаксического анализа и анализа журналов, в основном Java Stack Trace и других журналов.
Вот YML для Filebeat
filebeat:
prospectors:
-
paths:
-...
2185 просмотров
schedule
25.03.2022
Сообщения очереди Filebeat/logstash в пиковые периоды
У меня есть один сервер с Elasticsearch, Logstash и Kibana. Входящие сообщения отправляются на этот сервер примерно с 10 удаленных серверов с помощью Filebeat.
Трафик с 10 хостов довольно «резкий», и в часы пик я ожидаю, что входящие запросы будут...
757 просмотров
schedule
18.12.2022
Как я могу добавить дополнительные поля в ELK Kibana
Я использую ELK с кибаной.
Я также использую filebeat для отправки данных в Logstash.
Я создал выглядит так
{
"mappings": {
"_default_": {
"properties": {
"msg":{"type":"string",...
2216 просмотров
schedule
27.02.2024
filebeat отправляет журнал непосредственно в эластичный поиск, а не в logstash
Я столкнулся с этой проблемой, так как я удалил все индексы. Для этого я выполнил следующую команду
curl -XDELETE 'http://localhost:9200/*'
файлbeat.yml
filebeat:
prospectors:
-
paths:
- /var/log/syslog
- input_type...
2405 просмотров
schedule
18.07.2023
Отправка журнала в формате json в кибану с использованием filebeat, logstash и elasticsearch?
У меня такие журналы:
{"logId":"57aaf6c8d32fb","clientIp":"127.0.0.1","time":"03:11:29...
28676 просмотров
schedule
08.01.2023
Kibana+elasticsearch разбивает сообщения на слова
Я хочу анализировать сообщения на своей панели кибаны:
Я не хочу, чтобы это было токенизировано.
Я отправляю логи через filebeat и добавляю фильтры в logstash.
С помощью панели терминов Logstash + Kibana без разрыва слов , Команда curl,...
292 просмотров
schedule
02.07.2022
Kafka-Connect против Filebeat и Logstash
Я хочу использовать Kafka и сохранять данные в Hadoop и Elasticsearch. В настоящее время я видел 2 способа сделать это: использовать Filebeat для использования из Kafka и отправить его в ES и использовать структуру Kafka-Connect. Есть модуль...
6103 просмотров
schedule
11.04.2023
Почему Filebeats не отправляет журналы создания Docker?
Я следую это руководство для настройки стека ELK (VPS B), который будет получать некоторые журналы изображений Docker/docker compose (VPS A) с использованием Beatfile в качестве пересылки, моя схема показана ниже
До сих пор мне удалось...
618 просмотров
schedule
06.05.2023
Проблема с условными выражениями в logstash с полями из Kafka ---- ›FileBeat prospectors
У меня такой сценарий:
FileBeat ----> Kafka -----> Logstash -----> Elastic ----> Kibana
В Filebeat у меня есть 2 исследователя в файле YML ,,. и я добавляю несколько полей для идентификации данных журнала. Но проблема в том, что в Logstash я...
1342 просмотров
schedule
04.05.2022
add_field logstash после преобразования значения в Json
У меня есть файл журнала, содержащий журнал в этой форме
"{\"user_id\":\"79\",\"timestamp\":\"2016-12-28T11:10:26Z\",\"operation\":\"ver3 - Requested for recommended,verified handle...
2227 просмотров
schedule
16.06.2023
FIlebeat-Redis-Logstash: быстрый Filebeat и медленный Logstah, многопоточность logstash?
Я столкнулся с проблемой задержки с logstash.
На самом деле у меня есть стек ELK, построенный следующим образом:
У меня есть несколько веб-фронтов на AWS EC2 в группе автоматического масштабирования AWS.
У меня установлен filebeat на каждом...
480 просмотров
schedule
30.10.2023
Как принудительно восстановить данные журнала в filebeat 5
У меня filebeats 5.x отправляет журналы в logstash.
Как сбросить «указатель файла» в filebeat
Это аналогичная проблема
Как заставить Logstash повторно анализировать файл?...
15065 просмотров
schedule
03.01.2023
Запустите Filebeat с помощью Supervisor
Итак, у меня есть образ CentOS Docker, содержащий Filebeat и несколько других служб, которыми я пытаюсь управлять с помощью Supervisor. В рамках конфигурации Supervisor я хочу запустить службу Filebeat. Вот что я пробую в supervisord.conf...
1463 просмотров
schedule
07.01.2023
