Elasticsearch Analyzer первые 4 и последние 4 символа

С Elasticsearch я хотел бы указать анализатор поиска, в котором первые 4 символа и последние 4 символа токенизированы.

For example: supercalifragilisticexpialidocious => ["supe", "ious"]

Я попробовал ngram следующим образом

PUT my_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "my_tokenizer"
        }
      },
      "tokenizer": {
        "my_tokenizer": {
          "type": "ngram",
          "min_gram": 4,
          "max_gram": 4
        }
      }
    }
  }
}

Я тестирую анализатор следующим образом

POST my_index/_analyze
{
  "analyzer": "my_analyzer",
  "text": "supercalifragilisticexpialidocious."
}

И верни "супер"... кучу вещей, которые я не хочу и "круто". Проблема для меня заключается в том, как я могу получить только первый и последний результаты из указанного выше токенизатора ngram?

{
  "tokens": [
    {
      "token": "supe",
      "start_offset": 0,
      "end_offset": 4,
      "type": "word",
      "position": 0
    },
    {
      "token": "uper",
      "start_offset": 1,
      "end_offset": 5,
      "type": "word",
      "position": 1
    },
...
    {
      "token": "ciou",
      "start_offset": 29,
      "end_offset": 33,
      "type": "word",
      "position": 29
    },
    {
      "token": "ious",
      "start_offset": 30,
      "end_offset": 34,
      "type": "word",
      "position": 30
    },
    {
      "token": "ous.",
      "start_offset": 31,
      "end_offset": 35,
      "type": "word",
      "position": 31
    }
  ]
}

query-analyzer
person nuvio    schedule 29.08.2019    source источник

Ответы (1)


arrow_upward
3
arrow_downward

Один из способов добиться этого — использовать pattern_capture token filter и возьмите первые 4 и последние 4 символа.

Сначала определите свой индекс следующим образом:

PUT my_index
{
  "settings": {
    "index": {
      "analysis": {
        "analyzer": {
          "my_analyzer": {
            "type": "custom",
            "tokenizer": "keyword",
            "filter": [
              "lowercase",
              "first_last_four"
            ]
          }
        },
        "filter": {
          "first_last_four": {
            "type": "pattern_capture",
            "preserve_original": false,
            "patterns": [
              """(\w{4}).*(\w{4})"""
            ]
          }
        }
      }
    }
  }
}

Затем вы можете протестировать свой новый пользовательский анализатор:

POST test/_analyze
{
  "text": "supercalifragilisticexpialidocious",
  "analyzer": "my_analyzer"
}

И убедитесь, что ожидаемые токены есть:

{
  "tokens" : [
    {
      "token" : "supe",
      "start_offset" : 0,
      "end_offset" : 34,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "ious",
      "start_offset" : 0,
      "end_offset" : 34,
      "type" : "word",
      "position" : 0
    }
  ]
}
person Val    schedule 29.08.2019
comment
Круто, рад, что помогло! - person Val; 29.08.2019