中文more like this查询，highlight的词汇不对

[xuetaofeng]

Description

中文more like this查询，highlight的词汇不对。 比如我查询 “项目经理”，但是返回的结果highlight的是： “高< em>级项目经< /em>理（”

Steps to reproduce

创建ik_smart的index

#!/usr/bin/bash
curl -X DELETE "localhost:9201/my_index"
curl -X PUT "localhost:9201/my_index" -H 'Content-Type: application/json' -d'
{
"settings": {
"analysis": {
"analyzer": {
"my_ik_smart": {
"type": "custom",
"tokenizer": "ik_smart"
}
}
}
},
"mappings": {
"properties": {
"title": {
"type": "text",
"analyzer": "my_ik_smart",
"position_increment_gap": 1,
"term_vector": "with_positions_offsets_payloads"
}
}
}
}
'

插入文档：

#! /usr/bin/bash

curl -X POST "localhost:9201/my_index/_doc/1" -H 'Content-Type: application/json' -d @- << 'EOF'
{
"title": [
"项目经理",
"ex Mingyuan - 前任 明源福州 销售负责人（till 06/2019）/ 前任 用友 高级项目经理（till 03/2020）",
"销售负责人（till 06/2019）/ 前任 用友 高级项目经理（till 03/2020）"
]
}
EOF

curl -X POST "localhost:9201/my_index/_doc/2" -H 'Content-Type: application/json' -d @- << 'EOF'
{
"title": [
"开发工程师",
"前任 Google 软件工程师经理",
"现任 Facebook 高级开发工程师"
]
}
EOF

curl -X POST "localhost:9201/my_index/_doc/3" -H 'Content-Type: application/json' -d @- << 'EOF'
{
"title": [
"数据分析师",
"前任 IBM 数据分析师",
"现任 Amazon 数据科学家",
"现任 Amazon 项目数据科学家"
]
}
EOF

使用more like this 和 highlight 查询：

#! /usr/bin/bash
curl -X POST "localhost:9201/my_index/_search?pretty" -H 'Content-Type: application/json' -d @- << 'EOF'
{
"query": {
"more_like_this": {
"fields": ["title"],
"like": "项目经理",
"min_term_freq": 1,
"min_doc_freq": 1,
"analyzer": "my_ik_smart"
}
},
"highlight": {
"fields": {
"title": {"type": "fvh",
"fragment_size": 150,
"number_of_fragments": 3}
}
}
}
EOF

Priovde your configuration or code snippet that helps.

Expected behavior

期望项目经理可以得到highlight

Actual behavior

得到结果，：

{
"took" : 2,
"timed_out" : false,
"_shards" : {
"total" : 1,
"successful" : 1,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : {
"value" : 1,
"relation" : "eq"
},
"max_score" : 1.3648179,
"hits" : [
{
"_index" : "my_index",
"_id" : "1",
"_score" : 1.3648179,
"_source" : {
"title" : [
"项目经理",
"ex Mingyuan - 前任 明源福州 销售负责人（till 06/2019）/ 前任 用友 高级项目经理（till 03/2020）",
"销售负责人（till 06/2019）/ 前任 用友 高级项目经理（till 03/2020）"
]
},
"highlight" : {
"title" : [
"项目经理",
"ex Mingyuan - 前任 明源福州 销售负责人（till 06/2019）/ 前任 用友 高级项目经理（till 03/2020）",
"销售负责人（till 06/2019）/ 前任 用友 高< em>级项目经< /em>理（till 03/2020）"
]
}
}
]
}
}

Environment

• Versions: [ docker.elastic.co/elasticsearch/elasticsearch:8.4.1]
• bin/elasticsearch-plugin install --batch https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v8.4.1/elasticsearch-analysis-ik-8.4.1.zip;

[xuetaofeng]

我用smartcn 分词器就没有问题。只有使用ik_smart, ik_max_word有问题。 注意是对数组存在highlight的问题。