原创

Elasticsearch基础(十三)——ngram搜索推荐

上一章,我们讲近似匹配时,提到如果要实现搜索推荐功能,最好不要用match_phrase_prefix进行实时的前缀匹配,因为这样性能很差。本章,我们就来介绍下ngram分词机制,通过它,我们可以在建立索引阶段就完成“搜索推荐”。

一、ngram机制

什么是ngram?N-Gram是大词汇连续语音识别中常用的一种语言模型。

举个例子,对于单词“quick”,我们可以对其做如下拆分,那么,“quick”这个term就被拆分成了5种长度下的ngram,每种长度下的拆分项都是一个ngram:

# ngram.length=1
q u i c k
# ngram.length=2
qu ui ic ck
# ngram.length=3
qui uic ick
# ngram.length=4
quic uick
# ngram.length=5
quick

Elasticsearch使用了一种“edge ngram”的分词方法,比如我们有两个下面这样的document:

# doc1
hello world
# doc2
hello what

Elasticsearch会对文本中的每个term,按照edge ngram机制建立倒排索引:

term doc1 doc2
h Y Y
he Y Y
hel Y Y
hell Y Y
hello Y Y
w Y Y
wo Y N
wor Y N
worl Y N
world Y N
wh N Y
wha N Y
what N Y

当我们检索“hello w”时,首先会对“hello”这个term检索,发现doc1和doc2都有,然后对“w”这个term检索,发现doc1和doc2也都有,所以doc1和duc2都会被返回,这样就实现了搜索推荐。

由于检索时,完全利用到了倒排索引,并没有去做前缀匹配,所以ngram机制实现的搜素推荐效率非常高。

二、使用示例

接着,我们来看看如何使用ngram进行分词。首先,建立索引,min_gram和max_gram用于控制ngram的长度:

PUT /my_index
{
    "settings": {
        "analysis": {
            "filter": {
                "autocomplete_filter": { 
                    "type":     "edge_ngram",
                    "min_gram": 1,
                    "max_gram": 20
                }
            },
            "analyzer": {
                "autocomplete": {
                    "type":      "custom",
                    "tokenizer": "standard",
                    "filter": [
                        "lowercase",
                        "autocomplete_filter" 
                    ]
                }
            }
        }
    }
}

我们可以通过以下命令查看下分词结果:

GET /my_index/_analyze
{
  "analyzer": "autocomplete",
  "text": "quick brown"
}

最后,只要对那些想要实现搜索推荐的字段,修改其字段使用的分词器就完成了:

PUT /my_index/_mapping
{
  "properties": {
      "title": {
          "type":     "string",
          "analyzer": "autocomplete",
          "search_analyzer": "standard"
      }
  }
}

上面analyzer的意思是对title字段的内容建立索引时,使用autocomplete这个分词器,也就是ngram分词;search_analyzer的意思是,对于我们的检索词,比如“hello w”,还是用标准的standard分词器拆分。

三、总结

本章,我讲解了如何使用Elasticsearch实现index-time搜索推荐。

正文到此结束
本文目录