ElasticSearch Client详解

Stella981
• 阅读 632

本文将重点探讨ElasticSearch Client的相关知识,主要关注TransportClient与Rest Client。Elasticsearch client 是我们进入Elasti-Search的大门。

1、概述

本文关注Elasticsearch与Java相关的API实现。所有Elasticsearch操作都是使用Client对象执行的。Client 定义的所有API都是异步执行的(要么使用事件监听器回调或者使用Future模式)。此外,客户端上的操作可以批量累积和执行。

Elasticsearch官方计划在Elasticsearch 7.0中弃TransportClient,并在8.0中完全删除它。相反,您应该使用Java高级REST client,rest client执行HTTP请求来执行操作,无需再序列化的Java请求。Java高级REST Client API目前支持更常用的api,但还需要添加更多的api。

任何缺失的api都可以通过使用带有JSON请求和响应体的低级Java REST客户机来实现。按照官方的意思,以后ElasticSearch应该不会再为某一种具体语言单独提供客户端API,而是使用通用rest请求(http)来与ElasticSearch服务器进行交互。

接下来我们会从java api开始进入ElasticSearch API的学习。

ElasticSearch Client按照编程语言提供如下实现:

ElasticSearch Client详解

接下来将重点分析JAVA Client与Java REST Client。

2、TransportClient详解

2.1 TransportClient概述

TransportClient 是ElasticSearch(java)客户端封装对象,使用transport模块远程连接到Elasticsearch集群,该transport node并不会加入集群,而是简单的向ElasticSearch集群上的节点发送请求。transport node使用轮询机制进行集群内的节点进行负载均衡,尽管大多数操作(请求)可能是“两跳操作”,其操作如图(引用在Elasticsearch权威指南)。

ElasticSearch Client详解

正如上述图所述,以一个新建操作为例,第一个请求首先发送到NODE1,然后会根据ID进行路由计算(hashcode(id)%主分片个数),例如使用p0(第一个主分片),此时NODE1会将请求转发到Node3,然后客户端发送第二个请求,会发送到NODE2上(上文中的轮询机制)。

默认构建TransportClient的方法如下

TransportClient client = new PreBuiltTransportClient(Settings.EMPTY)    // @1        .addTransportAddress(new TransportAddress(InetAddress.getByName("192.168.1.10"), 9300))     // @2        .addTransportAddress(new TransportAddress(InetAddress.getByName("192.168.1.11"), 9300));    // on shutdown client.close();

代码@1:使用空配置。

代码@2:连接ElasticSearch 节点,可以通过addTransportAddress方法连接多个Node节点,这样请求会轮流发送到这些节点上,实现集群节点在接受请求时的负载均衡。

TransportClient级别的主要参数如下:

参数名

参数描述

cluster.name

transport node与服务端节点并不在一个集群中。

client.transport.sniff

是否开启集群嗅探功能,下文会详细介绍。

client.transport.ignore_cluster_name

是否忽略连接节点的集群名称校验,设置为true表示忽略,避免连接的节点并不在同一个集群中。

client.transport.ping_timeout

ping命令的响应超时时间,默认为5s。

client.transport.nodes_sampler_interval

对连接节点发送ping命令的频率,默认为5s,即常说的心跳检测间隔时间。

接下来重点描述一下client.transport.sniff参数,集群群嗅探机制。

在创建TransportClient时可以通过addTransportAddress来静态的增加ElasticSearch集群中的节点,如果开启集群群嗅探机制,即开启节点动态发现机制,允许动态添加和删除节点。当启用嗅探功能时,首先客户端会连接addTransportAddress中的节点上。在此之后,客户端将调用这些节点上的内部集群状态API来发现可用的数据节点。客户端的内部节点列表将仅被发现的数据数据节点替换。默认情况下,这个列表每5秒刷新一次。也就意味着如果该节点不是数据节点,则列表可能不包括它连接的原始节点。例如,如果您最初连接到一个主节点,在嗅探之后,如果发现了有其对应的数据节点,则不会再向该主节点发出请求,而是向任何数据节点发出请求。传输客户端排除非数据节点的原因是为了避免只向主节点发送搜索流量。

使用配置构建Settings构建TransportClient对象代码如下:

Settings settings = Settings.builder()   .put(“cluster.name”, “myClusterName”)        .put(“client.transport.sniff”, “true”).build();TransportClient client = new PreBuiltTransportClient(settings)   .addTransportAddress(new TransportAddress(InetAddress.getByName(“192.168.1.10”), 9300))  

2.2、TransportClient API

TransportClient 的核心类继承图如下:

ElasticSearch Client详解

上述API的设计要点:

整个客户端API提供两个最底层的方法,execute,其关键特征如下:

  • ActionFuture execute(Action<Request, Response, RequestBuilder> action, Request request);

返回ActionFuture,根据名称即可知道,该方法是典型的异步调用,Future模式。

  • void execute(Action<Request, Response, RequestBuilder> action, Request request, ActionListener listener);

无返回值,但需要传入ActionListener listener,同样根据名称即可知道,该参数的作用是事件监听器(回调方法),也就是收到服务端响应后,调用回调函数,进行结果处理。

注意:ElasticSearch Client API 其本质是使用异步请求模式。

  • prepare 开头的方法,例如IndexRequestBuilder prepareIndex()

这类API的设计是使用Build模式,先通过build构建请求参数,最终会通过调用get()方法完成接口调用。

TransportClient Api就先解释到这里了,后续会详细对上述API进行分类详解。

2.3 Maven依懒

<dependency>
    <groupId>org.elasticsearch.client</groupId>
    <artifactId>transport</artifactId>
    <version>6.4.1</version>
</dependency>
<dependency>
    <groupId>org.apache.logging.log4j</groupId>
    <artifactId>log4j-core</artifactId>
    <version>2.11.1</version>
</dependency>

3、Java Rest Client详解

Java REST客户端有两种风格:

  • Java Low Level REST Client:elasticsearch client 低级别客户端。它允许通过http请求与Elasticsearch集群进行通信。API本身不负责数据的编码解码,由用户去编码解码。它与所有的ElasticSearch版本兼容。

  • Java High Level REST Client:Elasticsearch client官方高级客户端。基于低级客户端,它定义的API,已经对请求与响应数据包进行编码解码。

3.1 Java High Level REST Client

3.1.1 初始化

RestHighLevelClient client = new RestHighLevelClient(
        RestClient.builder(
                new HttpHost("localhost", 9200, "http"),
                new HttpHost("localhost", 9201, "http")));
// close
client.close();

new HttpHost("localhost", 9200, "http")其机制与TransportClient的addTransportAddress的作用一致。

3.1.2 核心API依懒

RestHighLevelClient 的类图如下:

ElasticSearch Client详解

其API设计具有如下特征:

  • 每个API提供同步与异步调用,方法名以async结尾的方法为异步调用,需要提供对应的ActionListener实现。

  • 每个API都可以提供RequestOptions对象来定制请求选型。

本节将不会对上述API一一介绍,上述API会在后续文章中详细解析。

3.1.3 Maven依懒

<dependency>
        <groupId>org.elasticsearch.client</groupId>
        <artifactId>elasticsearch-rest-client</artifactId>
        <version>6.4.0</version>
</dependency>
 <dependency>
        <groupId>org.elasticsearch.client</groupId>
        <artifactId>elasticsearch-rest-high-level-client</artifactId>
        <version>6.4.0</version>
         <type>pom</type>
</dependency>

本文就先介绍到这里了,本节详细介绍了Elasticsearch两大客户端 TransportClient与RestHighLevelClient 相关API,后续文章会详细介绍各个API的使用及其内部原理,例如文档的索引、更新、查询、删除、批量查询,Search API等原理讲解与使用示例。

本文分享自微信公众号 - 中间件兴趣圈(dingwpmz_zjj)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Wesley13 Wesley13
3年前
java将前端的json数组字符串转换为列表
记录下在前端通过ajax提交了一个json数组的字符串,在后端如何转换为列表。前端数据转化与请求varcontracts{id:'1',name:'yanggb合同1'},{id:'2',name:'yanggb合同2'},{id:'3',name:'yang
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
待兔 待兔
4个月前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
3年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
3年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
10个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这