原创

Elasticsearch基础(十一)——Multi-Field搜索

本章,我们来讲下全文检索(Full Text Query)中的多字段搜索。和上一章term filter不一样的是:全文检索不是搜索exact value,而是对检索关键字进行分词后,实现倒排索引检索。多字段搜索,说白了,就是希望在多个不同的field中检索关键字。

一、案例实战

1.1 数据准备

我们假设已经录入了以下4条文章数据:

{
    "articleID" : "XHDK-A-1293-#fJ3",
    "userID" : 1,
    "hidden" : false,
    "postDate" : "2017-01-01",
    "tag" : [
        "java",
        "hadoop"
    ],
    "view_cnt" : 30,
    "title" : "this is java and elasticsearch blog"
},
{
    "articleID" : "KDKE-B-9947-#kL5",
    "userID" : 1,
    "hidden" : false,
    "postDate" : "2017-01-02",
    "tag" : [
        "java"
    ],
    "view_cnt" : 50,
    "title" : "this is java blog"
},
{
    "articleID" : "JODL-X-1937-#pV7",
    "userID" : 2,
    "hidden" : false,
    "postDate" : "2017-01-01",
    "tag" : [
        "hadoop"
    ],
    "view_cnt" : 100,
    "title" : "this is elasticsearch blog"
},
{
    "articleID" : "QQPX-R-3956-#aD8",
    "userID" : 2,
    "hidden" : true,
    "postDate" : "2017-01-02",
    "tag" : [
    "java",
        "elasticsearch"
    ],
    "view_cnt" : 80,
    "title" : "this is java, elasticsearch, hadoop blog"
}

1.2 full text query示例

我们先来看下全文检索的基本使用方式:

# 请求:搜索title中包含关键字“java elasticsearch”的记录
GET /forum/_search
{
    "query": {
        "match": {
            "title": "java elasticsearch"
        }
    }
}

全文检索时,会对搜索关键字进行拆分,上述"title"字段默认就是text类型,所以最终会以倒排索引的方式查询,只有记录中的“title”包含了“java”或“elasticsearch”,都会被检索出来。

我们也可以用bool组合多个搜索条件:

GET /forum/_search
{
  "query": {
    "bool": {
      "must":     { "match": { "title": "java" }},
      "must_not": { "match": { "title": "spark"  }},
      "should": [
                  { "match": { "title": "hadoop" }},
                  { "match": { "title": "elasticsearch"   }}
      ]
    }
  }

minimum_should_match

如果我们希望指定的关键字中,必须至少匹配其中的多少个关键字,才能作为结果返回,可以利用minimum_should_match参数:

GET /forum/article/_search
{
  "query": {
    "match": {
      "title": {
        "query": "java elasticsearch spark hadoop",
        "minimum_should_match": "75%"
      }
    }
  }
}

上述查询到的结果中,至少会包含“java“、“elasticsearch“、“spark“、“hadoop”中的三个。

boost权重

我们可以通过boost进行权重控制,也就是对于检索关键字,我们希望拆分后的某些词被优先检索。Elasticsearch进行相关度分数计算时,权重越大,相应的relevance score会越高,也就会优先被返回。默认情况下,搜索条件的权重都是1。

举个例子,假设我们希望检索出title包含hadoop或elasticsearch的记录,但是希望hadoop优先搜索出来,那么可以设置hadoop的权重更大些:

GET /forum/_search 
{
  "query": {
    "bool": {
      "should": [
        {
          "match": {
            "title": {
              "query": "hadoop",
              "boost": 5
            }
          }
        },
        {
          "match": {
            "title": {
              "query": "elasticsearch",
              "boost": 2
            }
          }
        }
      ]
    }
  }
}

注意:如果一个index有多个shard的话,搜索结果可能不准确。因为对于一个搜索请求,coordinate node可能会将其转发给任意一个shard。Elasticsearch在计算相关度分数时,采用了TF/IDF算法,该算法需要知道关键字在所有document中出现的次数,而每个shard只包含了部分document,TF/IDF算法计算时只采用了当前shard中的所有document数,所以对于不同shard计算出的相关度分数可能都是不同的。

1.3 match query底层原理

当我们使用match query进行检索时,Elasticsearch底层会转换成term形式。比如针对下面这种检索:

GET /forum/_search
{
    "query": {
        "match": {
            "title": {
                "query": "java elasticsearch",
                "operator": "and"
               }
        }
    }
}

Elasticsearch会将其转换成如下term形式:

{
  "bool": {
    "should": [
      { "term": { "title": "java" }},
      { "term": { "title": "elasticsearch"   }}
    ]
  }
}

二、best_fields策略

所谓best_fields策略,就是对多个filed进行搜索匹配时,挑选某个field匹配度最高的那个分数,同时在多个query最高分相同的情况下,在一定程度上考虑其他query的分数。简单来说,就是对多个field进行搜索时,就想搜索到某一个field包含更多关键字的数据。

2.1 multi-field搜索

语言描述实在太绕,我们通过一个例子来理解下,假设有五条doc记录:

# 1
{ "doc" : {"title" : "this is java and elasticsearch blog","content" : "i like to write best elasticsearch article"} }
# 2
{ "doc" : {"title" : "this is java blog","content" : "i think java is the best programming language"} }
# 3
{ "doc" : {"title" : "this is elasticsearch blog","content" : "i am only an elasticsearch beginner"} }
# 4
{ "doc" : {"title" : "this is java, elasticsearch, hadoop blog","content" : "elasticsearch and hadoop are all very good solution, i am a beginner"} }
# 5
{ "doc" : {"title" : "this is spark blog","content" : "spark is best big data solution based on scala ,an programming language similar to java"} }

我们希望搜索title或content中包含“java”或“solution”关键字的帖子,这其实就是典型的multi-field搜索,我们一般会像下面这样构建请求:

# should相当于SQL语法中的OR
GET /forum/_search
{
    "query": {
        "bool": {
            "should": [
                { "match": { "title": "java solution" }},
                { "match": { "content":  "java solution" }}
            ]
        }
    }
}

如果按照正常的思维,匹配度最高的应该是doc5,因为只有它的content字段既包含“java”又包含“solution”。但事实上,doc5的相关度分数(relevance score)并不是最高的,因为默认情况下,对于这种multi-field搜索,Elasticsearch采用的是most_fields策略,其算法大致是这样的:

  1. 计算每个query的分数,然后求和。对于上述搜索,就是“should”中的两个field检索条件,比如doc4计算的结果分别是1.1和1.2,相加为2.3;

  2. 计算matched query的数量,比如对于doc4,两个field都能匹配到,数量就是2;

  3. sum(每个query的分数)x count(matched query) / count(总query数量) 作为最终相关度分数。

对于doc4,上述算法的计算结果就是:(1.1+1.2) x 2/2=2.3;而对于doc5,title字段是匹配不到结果的,所以matched query=1,doc5的最终分数可能是(0+2.3) x 1/2=1.15,所以检索结果排在了doc4后面。

2.2 dis_max

我们希望的搜索结果应该是:某一个field匹配到了尽可能多的关键词,其分数更高;而不是尽可能多的field匹配到了少数的关键词,却排在了前面。

Elasticsearch提供了dis_max语法,可以直接取多个query中,分数最高的那一个query的分数,比如像下面这样构建请求,doc5的相关度分数就会上去:

GET /forum/_search
{
    "query": {
        "dis_max": {
            "queries": [
                { "match": { "title": "java solution" }},
                { "match": { "content":  "java solution" }}
            ]
        }
    }
}

比如对于上述的doc4,两个field检索的最终分数分别为1.1和1.2,那就取最大值1.2:

{ "match": { "title": "java solution" }} -> 1.1
{ "match": { "content":  "java solution" }} -> 1.2

对于doc5,针对“title”的检索没有匹配结果,分数为0,但“content”的分数为2.3,所以取最大值2.3:

{ "match": { "title": "java solution" }} -> 0
{ "match": { "content":  "java solution" }} -> 2.3

2.3 tie_breaker

dis_max只取多个query中,分数最高的那一个query的分数,而完全不考虑其它query的分数。但有时这并不能满足我们的需求,举个例子,我们希望检索title字段包含“java solution”或"content"字段包含“java solution”的帖子,最终满足条件的每个doc的匹配结果如下:

  • doc1,title中包含“java“,content不包含“java“、“solution“任何一个关键词;
  • doc2,title中不包含任何一个关键词,content中包含“solution”;
  • doc3,title中包含“java“,content中包含“solution“。

最终搜索结果是,doc1和doc2排在了doc3的前面,而不是我们期望的doc3排在最前面。此时我们可以利用tie_breaker参数将其他query的分数也考虑进去:

GET /forum/_search
{
    "query": {
        "dis_max": {
            "queries": [
                { "match": { "title": "java solution" }},
                { "match": { "content":  "java solution" }}
            ],
            "tie_breaker": 0.3
        }
    }
}

`tie_breaker的值,在0-1之间,其意义在于:将其他query的分数,乘以tie_breaker,然后再与最高分数的那个query进行计算,得到最终分数。

2.4 multi_match搜索

上面我们讲的dis_maxtie_breaker其实就是bese_fields策略的核心实现原理了。Elasticsearch还提供了一种multi_match搜索,来简化实现bese_fields策略:

GET /forum/_search
{
  "query": {
    "multi_match": {
        "query":                "java solution",
        "type":                 "best_fields", 
        "fields":               [ "title", "content" ],
        "tie_breaker":          0.3,
        "minimum_should_match": "50%" 
    }
  } 
}

如果要用dis_maxtie_breaker和来实现同样的效果,则是下面这样,可以看到multi_match确实简化了编码:

GET /forum/_search
{
  "query": {
    "dis_max": {
      "queries":  [
        {
          "match": {
            "title": {
              "query": "java solution",
              "minimum_should_match": "50%"
            }
          }
        },
        {
          "match": {
            "body": {
              "query": "java solution",
              "minimum_should_match": "50%"
            }
          }
        }
      ],
      "tie_breaker": 0.3
    }
  } 
}

2.5 优缺点

best_fields策略是最常用,也是最符合人类思维的搜索策略。Google、Baidu之类的搜索引擎,默认就是用的这种策略。

优点:通过best_fields策略,以及综合考虑其他field,还有minimum_should_match支持,可以尽可能精准地将匹配的结果推送到最前面。
缺点:除了那些精准匹配的结果,其他差不多大的结果,排序结果不是太均匀,没有什么区分度了。

三、most_fields策略

most_fields策略,也是Elasticsearch进行multi-field搜索时的默认策略,其实就是综合多个field一起进行搜索,尽可能多地让所有query参与到总分的计算中,结果不一定精准。

比如,某个document的一个field虽然包含更多的关键字,但是因为其他document有更多field匹配到了,所以其它的doc会排在前面。

我们可以通过以下方式显式使用most_fields策略:

GET /forum/_search
{
  "query": {
    "multi_match": {
        "query":                "java solution",
        "type":                 "most_fields", 
        "fields":               [ "title", "content" ]
    }
  } 
}

3.1 优缺点

优点:将尽可能匹配更多field的结果推送到最前面,整个排序结果是比较均匀的。
缺点:可能那些精准匹配的结果,无法推送到最前面。

四、cross-fields策略

cross-fields搜索,就是跨多个field去搜索一个标识。比如姓名字段可以散落在多个field中,first_name和last_name,地址字段可以散落在country、province、city中,那么搜索人名或者地址,就是cross-fields搜索。

要进行cross-fields搜索,我们可能会立马想到使用上面讲的most_fields策略,因为multi_fields会考虑多个field匹配的分数,而cross-fields搜索本身刚好就是多个field检索的问题。

我们通过示例来看下cross-fields搜索,假设有以下用户信息:

# 1
{ "doc" : {"author_first_name" : "Peter", "author_last_name" : "Smith"} }
# 2
{ "doc" : {"author_first_name" : "Smith", "author_last_name" : "Williams"} }
# 3
{ "doc" : {"author_first_name" : "Jack", "author_last_name" : "Ma"} }
# 4
{ "doc" : {"author_first_name" : "Robbin", "author_last_name" : "Li"} }
# 5
{ "doc" : {"author_first_name" : "Tonny", "author_last_name" : "Peter Smith"} }

我们希望检索姓名中包含“Peter Smith”的用户信息,一般会像下面这样构造请求:

GET /forum/_search
{
  "query": {
    "multi_match": {
      "query":       "Peter Smith",
      "type":        "most_fields",
      "fields":      [ "author_first_name", "author_last_name" ]
    }
  }
}

检索出的结果包含:doc1、doc2、doc5,我们希望的结果应该是doc5排在最前面,然后是doc1,最后才是doc2,即doc5>doc1>doc2,但事实上,doc5可能会排在最后。之所以会出现这种情况,跟TF/IDF算法有关,我这边不作赘述,后面会讲TF/IDF算法原理。

所以,如果我们需要进行cross-fields搜索,应该直接使用multi_match提供的cross-fields策略

GET /forum/_search
{
  "query": {
    "multi_match": {
      "query": "Peter Smith",
      "type": "cross_fields", 
      "operator": "and",
      "fields": ["author_first_name", "author_last_name"]
    }
  }
}

使用cross-fields策略进行多字段检索时,会要求关键字拆分后的每个term必须出现在被检索的字段中。比如上面我们检索“Peter Smith”时,会拆成“Peter”和“Smith”两个term,那就要求:

  • Peter必须在author_first_name或author_last_name中出现;
  • Smith必须在author_first_name或author_last_name中出现。

五、总结

全文检索时,如果需要针对多个field进行检索,我们一般会使用match query或multi_match语法。默认情况下,Elasticsearch进行这类多字段检索的策略是most_fields。读者要理解most_fields策略和best_fields策略的内容及其优缺点,根据自己的实际需求选择合适的策略。

正文到此结束
本文目录