在使用不管是 Lucene 或者 ElasticSearch 进行全文搜索中,检索到文档很简单,但是把搜索者最想要的结果排在最前面,这是最具挑战性的。
我们举个最简单的例子:假设我们需要做一个博客搜索,当我们用 Lucene 默认的匹配度进行排序,那你可能会发现搜索出来的都是一堆垃圾文章。所以一般我们会把博客文章的其他因素作为排序方法来替代匹配度。例如会考虑 “阅读数、文章长度、是否编辑推荐” 等诸多扩展因素综合进行排序。
这种时候我们一般会构造一个包含多个 SortField 的 Sort 对象,例如前面提到的阅读数、长度、是否推荐等。
但是!这个排序对象在搜索前就已经固定下来的,这样可能会出现一种情况,一些相关度非常低,但它的阅读数很高,同时又是编辑推荐的博客文章会排在前面。
有没有这样一种可能,我想根据不同的内容相关度,再结合文章的一些扩展指标来进行排序。比如,当我在搜博客的时候,只有当相关度大于某个值的时候,我会通过这些文章扩展指标来加分,让这些被推荐的文章排在前面。
这里就要用到 lucene 的 FunctionScoreQuery 来实现了,在老的版本里,是一个叫 CustomScoreQuery 的类,在新版已经被废弃了。 Lucene 的 API 就是这么变态,新版本发布经常都会有 API 的大变更。
大概的使用过程是这样的:
0. 需要引用的类
import org.apache.lucene.expressions.Expression;
import org.apache.lucene.expressions.SimpleBindings;
import org.apache.lucene.expressions.js.JavascriptCompiler;
import org.apache.lucene.queries.function.FunctionScoreQuery;
import org.apache.lucene.queryparser.classic.ParseException;
1. 首先定义一个变量表:
SimpleBindings bindings = new SimpleBindings();
bindings.add("$score", DoubleValuesSource.SCORES);
bindings.add("$recomm", DoubleValuesSource.fromIntField("recomm"));
bindings.add("$viewcount", DoubleValuesSource.fromIntField("viewcount"));
bindings.add("$wordcount", DoubleValuesSource.fromIntField("wordcount"));
2. 定义一个自定义排序的表达式:
String sort_method= "mysort($score,$recomm,$viewcount,$wordcount)";
HashMap<String, Method> scoreMethods = new HashMap();
scoreMethods.put("mysort", getClass().getDeclaredMethod("mysort", double.class, double.class, double.class, double.class));
Expression expr = JavascriptCompiler.compile(sort_method, scoreMethods, getClassLoader());
注意这里的 scoreMethods 用来存放所有自定义函数对应的 Java 方法,如下所示:
3. 定义一个 mysort 方法,接受 double 参数,返回 double 参数
public double mysort(double score, double recomm, double viewcount, double wordcount) {
if(score >= 40) {
if(recomm > 0)
score += 100;
if(viewcount >= 1000)
score += 100;
if(wordcount >= 200)
score += 20;
}
return score;
}
4. 接下来你就可以使用 FunctionScoreQuery
FunctionScoreQuery query = new FunctionScoreQuery(oldQuery, expr.getDoubleValuesSource(bindings));
这里的 oldQuery 就是你原先用来做全文搜索的 Query 实例。
你可以试试打印一下 query 看看,我这边一个真实打印的结果如下:
FunctionScoreQuery(+type:[2 TO 2] +fork:[0 TO 0] +(((+name:j2cache)^20.0 (+description:j2cache)^10.0 (+detail:j2cache)^1.0 (+tags:j2cache)^10.0 (+catalogs:j2cache)^10.0 (+owner.name:j2cache)^2.0)~1), scored by expr(repo_sort($score,$recomm,$stars,$gindex)))
最后
当使用 FunctionScoreQuery 后,排序的时候只需要直接用 Sort.RELEVANCE 即可。
尝试一下吧,不过当结果集很大的时候 FunctionScoreQuery 的效率会比较差,具体需要在实际的环境中进行验证。