Вопросы по теме 'logstash-file'
Ввод файла Logstash не выводит событие после изменения файла
Я пытаюсь читать из файла и выводить каждое событие на консоль (или в файл). Я хочу иметь возможность добавлять в файл, чтобы Logstash подхватил его и повторил конвейер. Однако Logstash, кажется, читает и выполняет конвейер только один раз, даже...
1210 просмотров
schedule
09.08.2022
Logstash: как читать журналы, созданные по дате/времени
Наши серверы хранят файлы журналов в каталоге в соответствии с датой и временем в качестве имени файла. например:
/2015.08.21/01.23
/2015.08.21/01.24
/2015.08.21/01.25
где имена файлов следуют соглашению [часы].[минуты].
Как настроить...
344 просмотров
schedule
11.01.2023
Как распечатать логи выполнения logstash
Я пытался найти это в Интернете, но не смог найти ни одной зацепки. Есть ли способ распечатать вывод выполнения logstash в файл журнала? Например, я использую плагин jdbc для чтения данных в соответствии с sql_last_start. Я хочу знать, в какое...
1473 просмотров
schedule
09.06.2023
Как заставить Logstash Grok Fliter видеть новую строку и возврат каретки?
Я пытаюсь проанализировать наши файлы журналов и отправить их в elasticsearch. Проблема в том, что наш клиент S3 вставляет в файл строки, содержащие символы возврата каретки (\ r) вместо символов новой строки (\ n). Конфигурация для входного фильтра...
1988 просмотров
schedule
02.04.2024
logstash, если поле существует, то grok
Я пытаюсь создать фильтр для logstash, который будет иметь «общий» фильтр grok для всех журналов, и если какое-то поле существует, то я хочу, чтобы он выполнял другой grok.
Первый грок, который я использую, это
grok {
match => [
"message",...
2545 просмотров
schedule
14.10.2022
logstash простой ввод/вывод файла
У меня проблемы с запуском logstash. Базовый пример logstash работает. Но затем я борюсь с примером расширенного конвейера . Возможно, это также может быть проблема с elasticsearch.
Теперь я просто хочу проверить, работает ли простой пример:...
18910 просмотров
schedule
24.04.2023
Пользовательский разделитель плагина Logstash File
Я использую logstash в течение достаточно долгого времени. Я попытался использовать собственный разделитель в плагине File. Я читаю статический файл. Я вижу, что файловый плагин извлекает данные размером 32 КБ и передает их в токенизатор для...
421 просмотров
schedule
27.03.2023
Как logstash может идентифицировать и анализировать вновь созданные файлы журналов?
Я новичок в ELK, и в настоящее время я столкнулся со следующей проблемой. Я хочу, чтобы logstash анализировал некоторые файлы журналов сервера. Каждый день создается новый файл журнала со следующим форматом имени: file160629.log (где 160629 =...
30 просмотров
schedule
01.01.2023
Шаблон Grok для даты
У меня есть дата в моих журналах как:
08 июл 2016 08:58:07,258 ...
В настоящее время я использую:
%{MONTHDAY}[T ]%{MONTH}[T ]%{YEAR}[T ]%{HOUR}:?%{MINUTE}(?::?%{SECOND})[T ]...
чтобы разобрать его.
Как я могу преобразовать это...
1886 просмотров
schedule
02.08.2022
Чтение файла журнала по заданному пути с помощью logstash
input
{
file
{
path => ["D:/logstash-2.3.4/temp/logs/localhost_access_log.2016-08-24.log"]
start_position => "beginning"
}
}
filter
{
date
{
match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
}
}
output
{...
2796 просмотров
schedule
12.02.2024
шаблон logstash для фильтрации данных моего журнала
Я новичок в стеке ELK и фильтре grok.
Нужна помощь в отношении файла конфигурации logstash для отображения данных в кибане (круговая диаграмма)
мой файл журнала доступен в папке C:\ELK\Test\reviewoutput.log
wf_review1 FAILED
wf_review2 PASS...
152 просмотров
schedule
12.06.2022
Logstash _grokparsefailure ошибка окна
Предупреждение для новичков!
Я учусь использовать logstash в Windows для демонстрации команде. Пожалуйста, посмотрите следующие конфигурации и результаты:
1)
file content : 123
файл конфигурации:
input {
file {
path =>...
139 просмотров
schedule
27.06.2023
Как разобрать файл tmx (файл xml для данных перевода) в logstash
Я использую файлы TMX (xml-файл для данных перевода) в качестве источника в Logstash для индексации данных в Elasticsearch.
Пример TMX-файла выглядит следующим образом:
<?xml version="1.0" encoding="UTF-8"?>
<tmx version="1.4">...
201 просмотров
schedule
23.04.2023
Как настроить logstash на нашей машине, не влияя на производительность?
Мне нужно использовать logstash для чтения некоторой информации журнала из моей собственной системы. Я использую эластичный поиск в качестве вывода logstash. Эластичный поиск будет настроен на другом сервере.
Я читал некоторые статьи и...
408 просмотров
schedule
02.09.2022
Как добавить новую строку с помощью gsub в logstash
У меня есть поле "сообщение".
Когда я делаю это: mutate {
update => {"message" => "%{message} \n"}
}
Он преобразует сообщение в: "2017-12-31 Error \\n" ["Ошибка 2017-12-31" - это значение моего...
2004 просмотров
schedule
23.10.2022
Смешанные журналы Logstash - многострочные и обычные
Я использую входной файл для получения таких журналов:
input {
file {
path => "/home/ec2-user/*.log"
}
}
В одном из лог-файлов некоторые события логируются 1 строкой:
2018-12-10 10:01:30.1097|0|Services.Services|INFO| Message:...
233 просмотров
schedule
05.09.2022
Logstash - запись файла для каждого события разделения
У меня есть конфигурация Logstash, в которой я разделяю входящий XML на несколько событий. Я хотел бы написать файл для каждого события. Однако при выводе в файл все события записываются в один файл (по одному событию на строку). Есть ли способ...
31 просмотров
schedule
11.12.2022
Сохраненный запрос из базы данных в качестве входных данных JDBC для Logstash
У меня есть таблица, например QueryConfigTable, которая содержит запрос в одном столбце, например, выберите * из таблицы клиентов. Я хочу, чтобы запрос в столбце выполнялся в качестве ввода для JDBC в logstash. I
он принимает запрос столбца как...
282 просмотров
schedule
14.09.2022
Logstash: изменение gsub ничего не меняет
Независимо от того, что я меняю, кажется, что gsub просто игнорируется.
"port": 5021,
"@timestamp": "2020-07-25T02:16:03.747Z",
"host": "xxx.xxx.xxx.xxx",
"@version": "1",...
35 просмотров
schedule
10.01.2023
retry_non_idempotent в выводе Logstash Http
Я использую настройки по умолчанию [1] со следующей конфигурацией
http {
format=>"message"
http_method=>"post"
url=>"xxx"
message=>'xxx'
}...
76 просмотров
schedule
25.05.2023
