elasticsearch не смог получить события

У меня есть два события в elasticsearch:

Событие 1:

{
  "_index": "logstash-2013.11.26",
  "_type": "logs",
  "_id": "apuoW1Y8SBqVk_W_FOPKQQ",
  "_score": 1.0,
  "_source": {
    "@timestamp": "2013-11-26T03:09:16.059Z",
    "message": "testline3\ntestline1\n testline2\n testline3",
    "@version": "1",
    "type": "online_log",
    "host": [
      "suutw11"
    ],
    "path": [
      "/home/infra/logstash/test/test1.log",
      "%{@source_path}"
    ],
    "env": "SAT1",
    "tags": [
      "multiline",
      "_grokparsefailure"
    ]
  }
}

Событие 2:

{
  "_index": "logstash-2013.11.26",
  "_type": "logs",
  "_id": "mMk-JBWjQh2Xmc8ERIDzmw",
  "_score": 1.0,
  "_source": {
    "@source": "file://sudpb1/app/bckss04/dmacms_ear_p4_A/acmsdomain/logs/access.log",
    "@source_host": "sudpb1",
    "@message": "10.100.2.66\t2013-11-26\t15:22:18\tGET\t/lb_check.jsp\t200\t3\t0.0010",
    "@tags": [
      "beaver"
    ],
    "@fields": {
      "host": [
        "sudpb1"
      ],
      "env": [
        "BCV"
      ]
    },
    "@timestamp": "2013-11-26T04:24:29.471Z",
    "@source_path": "/app/bckss04/dmacms_ear_p4_A/acmsdomain/logs/access.log",
    "@type": "access_log",
    "@version": "1",
    "type": "redis-input"
  }
}

Оба события можно получить:

curl -XGET 'http://sulog01:9200/logstash-2013.11.26/_search?pretty' -d '{
  "query" : {
    "match_all": {}
  }
}'

Но событие 1 не может быть получено:

curl -XGET 'http://sulog01:9200/logstash-2013.11.26/_search?pretty' -d '{
  "query": {
    "query_string": {
      "query": "*"
    }
  }
}'

Более поздний синтаксис используется kibana, поэтому я хотел бы знать, что вызвало такое другое поведение и как это исправить, чтобы более поздний синтаксис также мог получать все события.


kibana elasticsearch
person flyasfish    schedule 26.11.2013    source источник
comment
вы ищете в поле _all по вашему последнему запросу. Вы, возможно, отключили его в какой-то момент в отображении? Возможно, лучше указать поля, по которым вы хотите искать?   -  person javanna    schedule 27.11.2013
comment
Большое спасибо, это очень хороший совет! Я действительно отключил поле _all для экономии места на диске. Похоже, повторное включение поля _all решило мою проблему   -  person flyasfish    schedule 28.11.2013
comment
Рад слышать, тогда добавил мой комментарий в качестве ответа.   -  person javanna    schedule 28.11.2013
comment
Не могли бы вы принять/проголосовать за мой ответ, если он был полезен?   -  person javanna    schedule 23.01.2014

Ответы (1)


arrow_upward
0
arrow_downward

Вы выполняете поиск в поле _all, используя свой последний запрос, поскольку вы не указываете ни поле, ни имя поля в запросе, ни поле по умолчанию. Я думаю, вы могли отключить поле _all в какой-то момент сопоставления, что привело бы к тому, что документы, в которых нет поля _all, не будут возвращены.

person javanna    schedule 28.11.2013