Elasticsearch下 - 迅博思语资讯移动站

Elasticsearch下

2024-11-01 01:03

transportclient：通过监听9300端口tcp进行数据传输，它可以触摸到es的API和结构，此客户端对ES的版本兼容性较差，并且它在高并发环境下会有性能问题。

Elasticsearch下

restclient：restclient就是采用http协议进行交互，它相比transportclient最大的好处就是对ES版本兼容性较好。restclient也分为high-level和low-level两种，两者原理基本一致，区别最大的就是封装性。low-level各种操作都要你自己封装，并且java本身不支持json还需要引用第三方包。而high-level是针对elasticsearch的api进行高级封装，和elasticsearch的版本关联大一些。

spring-data-elasticsearch：spring官方提供的框架，使用起来非常方便，3.2.0 版本之前是基于transportclient封装的，在此之后是基于HighLevelRestClient进行封装的，因此建议使用3.2.0 及以后的版本。

在这里插入图片描述

spring-boot-starter-data-elasticsearch：springboot官方提供的客户端，内部使用spring-data-elasticsearch，springboot-2.2（对应spring-data-elasticsearch-3.2.0）

该如何选择客户端？

若使用的是springboot项目（spring-boot-starter-data-elasticsearch启动器），建议使用springboot-2.2及以后版本
若只是一个普通spring项目，使用spring-data-elasticsearch-3.2.0以后版本。
若以上两种都不是，建议使用HighLevelRestClient，而非transportclient

2.1 分析创建索引

目标：理解如何分析数据并创建索引库

需求：将数据库中Goods表的数据导入到ElasticSearch中（资料中有sql脚本）

创建脚本如下：

字段说明：

title：商品标题
price：商品价格
num：商品库存
category：商品类别
brand：品牌名称

添加文档进行测试：

2.2 代码实现

1）创建maven工程
在这里插入图片描述

2）添加相关依赖包

3）创建启动类

4）创建并编写application.yml文件

5）编写实体类Goods

6）创建GoodsDao数据访问层

7）在resources目录下创建mappers文件夹，创建并编写GoodsMapper.xml文件

8）编写单元测试用例

项目结构：

在这里插入图片描述

运行结果：
在这里插入图片描述

注解说明

@document(indexName = “goods”, type = “_doc”) // 指定对应索引库以及类型
@Id // 指定对应ES中_id的字段
@Field(type = FieldType.Text, analyzer = “ik_smart”) // 指定字段的数据类型，以及分词器
添加文档前，先创建索引库、类型、映射信息

3.1 matchAll 查询

应用场景：当查询列表的页面初始化时，没有任何查询条件

1）改造Goods实体类，添加toString方法

2）编写测试用例

运行结果：
在这里插入图片描述

3.2 term查询

应用场景：不想对搜索关键字进行分词，搜索的结果更加精确。

执行搜索可以发现结果为空，为何？在前一天我们其实已经学过，term搜索是将搜索关键字的整个内容作为词条去倒排索引中进行词条的等值匹配。如果倒排索引中并没有分出"老人手机"这个词，就搜索不到。我们可以通过ES提供的接口看看某字符串按某分词器分出的效果：

在这里插入图片描述

3.3 match查询

应用场景：想对搜索关键字进行分词，搜索的结果更全面

会对查询条件进行分词
然后将分词后的查询条件和词条进行等值匹配
默认取并集（OR）

在这里插入图片描述

若想要结果取交集（既包含手机，又包含老人），可以如下进行操作

在这里插入图片描述

3.4 模糊查询（了解）

应用场景：当使用match搜索仍然查询不到数据，可以尝试使用模糊查询，范围更广

样例：

在这里插入图片描述

可以发现查询的结果中，那些title包含"华为"的数据查不出来，因为那些数据，没有分出"华"这一个字，而分出的就是"华为"，这个时候我们若想把包含"华为"的数据都查出来，就可以使用模糊查询。

wildcard查询特点

会对查询条件进行分词
分出的词和索引库的词条进行模糊匹配，可以使用通配符 ?（任意单个字符）和 * （0个或多个字符）
默认取结果并集

在这里插入图片描述

3.5 范围查询

应用场景：当想对数值类型的字段做区间的搜索，例如商品价格。

3.6 字符串查询（了解）

应用场景：当不知道搜索的内容存储在哪个字段时，可以使用字符串搜索

会对查询条件进行分词
将分词后的查询条件和词条进行等值匹配
默认取并集（OR）
可以指定多个查询字段

1）不指定字段

2）指定字段

在这里插入图片描述

3.7 布尔查询

应用场景：当存在多个查询条件时

语法

在这里插入图片描述

如果想词条查询品牌为华为，或title包含手机的数据，即如下所示：

3.8 分页与排序

3.9 聚合查询

指标聚合：相当于MySQL的聚合函数。max、min、avg、sum等
桶聚合：相当于MySQL的 group by 操作。（不要对text类型的数据进行分组，会失败）

在这里插入图片描述

3.10 高亮查询

分析：高亮显示如何实现？

在这里插入图片描述

高亮三要素：

高亮字段
前缀
后缀

在这里插入图片描述

应用场景：随着业务需求的变更，结构可能发生改变。ES的索引一旦创建，只允许添加字段，不允许改变字段（因为改变字段，需要重建倒排索引，影响内部缓存结构，性能太低），那么此时，就需要重建一个新的索引，并将原有索引的数据导入到新索引中。

操作步骤

1）创建一个索引库student_index_v1，并指定映射信息

2）往student_index_v1索引库添加数据

3）此时，由于业务需求变更，需要往birthday字段添加一个1990年01月01日的数据

毫无疑问添加失败，因为birthday的类型是date，不支持这种数据格式，那我们就需要修改birthday字段的数据类型为text或keyword，但是前面也提过，ES是不准我们修改字段的，因此就需要用到重建索引

4）再创建一个索引库student_index_v2，并指定映射信息

5）将student_index_v1中的数据导入到student_index_v2中

6）查看student_index_v2可以发现数据已经导过来了，而且此时也可以添加新数据比如1990年01月01日，操作如下：

7）现在仍然存在一个问题，比方说我们之前的java代码中已经写死了索引库名称，如果重建了索引，新数据还往旧的索引库里插入肯定是不行的，这个时候就需要用到另一个操作：索引别名

这个时候，操作student_index_v2索引库，可以用student_index_v2，也可以用student_index_v1

应用场景：当数据库的数据发生了增删改，需要同步数据至索引库。

代码实现

1）新增文档/修改文档

2）删除文档

ElasticsearchRepository 是spring-data框架提供的一个接口，封装了ES的一些增删查改的基本API，使用起来比较方便。

使用步骤

1）创建GoodsRepository接口，让其继承ElasticsearchRepository

2）在调用GoodsRepository时，可以发现里面多了一些CRUD的方法

7.1 集群及分布式介绍

集群：多个人做一样的事。
分布式：多个人做不一样的事。

在这里插入图片描述

说明：在一个系统中，往往分布式和集群是并存的。

7.2 相关概念

节点（node) ：集群中的一个 Elasticearch 服务实例。在Elasticsearch中，节点的类型主要分为如下几种：
- master eligible节点：有资格参加选举成为Master的节点，默认为true（可以通过node.master: false设置）。
- data节点：保存数据的节点，默认为true（可以通过node.data: false设置）。
- Coordinating 节点：客户端节点。负责接收客户端请求，将请求发送到合适的节点，最终把结果汇集到一起返回，默认为true。
集群（cluster）：一组拥有相同集群名称的节点，集群名称默认是elasticsearch。
索引（index) ：es存储数据的地方，相当于关系数据库中的database。
分片（shard）：索引库可以被拆分为不同的部分进行存储，称为分片。在集群环境下，一个索引库的不同分片可以拆分到放到不同的节点中，分片的好处有如下两点。
- 提高查询性能（多个节点并行查询）
- 提高数据安全性（鸡蛋不要放在一个篮子里）
主分片（Primary shard）：相对于副本分片的定义。
副本分片（Replica shard）：即对主分片数据的备份，每个主分片可以有一个或者多个副本，数据和主分片一样，副本的好处有如下两点：
- 数据备份，防止数据丢失
- 一定程度提高查询的并发能力（同一份完整的索引库的数据，分成了两份，都可以查询）