Как удалить пробелы и специальные символы во время индексации с помощью hibernate search/lucene

У меня есть поле, которое я хотел бы рассматривать как одну строку, удаляя из нее все небуквенно-цифровые символы.

Например, я хотел бы токенизировать «123 456,78-9» как «123456789». Для этого я пытался определить свой собственный анализатор. Согласно странице solr, KeywordTokenizerFactory будет обрабатывать строку как один термин, и я могу использовать PatternReplaceFilterFactory для удаления символов, как я намеревался.

Я использую следующее определение в своем коде, и оно не работает:

@AnalyzerDef(name = "strippinganalyzer",
    tokenizer = @TokenizerDef(factory = KeywordTokenizerFactory.class),
    filters = {
            @TokenFilterDef(factory = PatternReplaceFilterFactory.class,
                    params = { 
                        @org.hibernate.search.annotations.Parameter(name = "pattern", value="([^a-zA-Z0-9])"),
                        @org.hibernate.search.annotations.Parameter(name="replacement", value=""),
                        @org.hibernate.search.annotations.Parameter(name="replace", value="all")
                    }
            )
    })

Это соответствует «123*», но не «1234*» и т. д. Что мне не хватает?

Спасибо


java regex indexing lucene hibernate-search
person kgrad    schedule 05.10.2011    source источник

Ответы (1)


arrow_upward
3
arrow_downward

Создание пользовательского анализатора, похоже, помогает:

public class AlphanumericAnalyzer extends Analyzer {

    @Override
    public TokenStream tokenStream(String fieldName, Reader reader) {

        return new TrimFilter(new PatternReplaceFilter(new LowerCaseFilter(new KeywordTokenizer(reader)), Pattern.compile("[^a-zA-Z0-9]"), "", true), true);
    }
}
person kgrad    schedule 05.10.2011