Logstash - попытка создать просроченный фильтр

Я пытаюсь создать просроченный фильтр, но просроченные поля не отображаются. Это ввод:

statement => "SELECT TRANSACTION_ID, COMMUNICATION_ID, 
    BROKER_NAME, IS_NAME, SERVICE_NAME, OPERATION_NAME, OPERATION_VERSION, MESSAGE_TYPE, APPROACH, CLIENT_ID, 
    APPLICATION_ID, EXT_SESSION_ID, EXT_TRANSACTION_ID, EXT_ORIGIN, LANG_CODE, EXT_HOST, APPLICATION, CHANNEL, 
    NUM_RETRIES, STATUS_CODE, STATUS_MSG, DATE_CREATED, 
    DESTINATION_HOST, OPERATION_ID 
    FROM IIB_OPER.COMMUNICATION_LOG 
    WHERE DATE_CREATED > '2018-07-20'"

А это фильтр:

filter {
    if [message_type] == "Req" {
        mutate {
            add_tag => [ "taskStarted" ]
        }
    }
    if [message_type] == "Res" {
        mutate {
            add_tag => [ "taskTerminated" ]
        }
    }   
    elapsed {
        unique_id_field => "operation_id"
        start_tag => "taskStarted"
        end_tag => "taskTerminated"
        timeout => 20000
        new_event_on_match => true
    }
}

В Kibana в шаблонах индекса поля появляются, но когда я получаю logstash для работы, прошедшие поля не появляются.

Есть идеи, почему?

Ваше здоровье,


filter logstash elapsed
person bigster    schedule 20.07.2018    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Отвечая на мой собственный вопрос... Проблема в том, что я пытаюсь преобразовать столбец, который уже был в JSON, для импорта в Elastic, поэтому создание другой временной даты работает.

date {
    match => [ "temp_date", "yyyy-MM-dd HH:mm:ss,SSS"]
}
if [message_type] == "Req" {
    mutate {
        add_tag => [ "taskStarted" ]
    }
}
if [message_type] == "Res" {
    mutate {
        add_tag => [ "taskTerminated" ]
    }
}   
elapsed {
    unique_id_field => "operation_id"
    start_tag => "taskStarted"
    end_tag => "taskTerminated"
    timeout => 30
}

Еще один момент... очень важный... время ожидания указывается в секундах, а не в миллисекундах.

Ваше здоровье,

person bigster    schedule 30.07.2018