1. 什么是ElasticSearch

1.1 概念

ElasticSearch 简称为 ES,网址为:

https://www.elastic.co/

ES 是一个分布式的开源搜索和分析引擎,适用于文本、数字、地理空间、结构化数据、非结构化数据等数据的搜索。ES 是在 Apache Lucene 的基础上完成开发。由 Elastic 于 2010 年发布。ES 通过其简单的 REST 风格的 API、分布式特性、速度和可扩容闻名世界。是 Elastic Stack 的核心组件。Elastic Stack 是一套用于数据采集、扩充、保存、分析、可视化的开源工具。Elastic Stack 称之为 ELK。目前 ELK 包含一系列丰富的轻量数据采集代理,这些代理被称之为 Beats。

1.2 ES的用途

主要有以下的用途:

  • 应用程序搜索
  • 网站搜索
  • 企业搜索
  • 日志处理
  • 基础设施指标和容器监测
  • 应用程序性能监测
  • 地理空间数据分析和可视化
  • 安全分析
  • 业务分析

1.3 工作原理

从多个来源输入到 ES 中,数据在 ES 中进行索引和解析,标准化并充实这些数据。这些数据在 ES 中索引完成之后,用户就可以针对他们的数据进行复杂的查询,并使用聚合来检索这些数据,在 Kibana 中,用户可以创建数据可视化面板,并对 ELK 进行管理。

1.4 索引

ES 索引是指相互关联的文档集合。ES 是会以 JSON 文档的形式保存数据,每个文档都会在一组键值对中建立联系。

ES 使用的是一种倒排序索引的数据结构。这个结构可以允许十分快速的进行全文本的搜索。

在索引的过程中,ES 会保存文档并构建倒排序索引,这样用户就可以实时的对文档数据进行搜索。索引是在添加过程中就启动的。

1.5 Logstash

Logstash 是 ELK 的核心菜品,可以对数据进行聚合和处理。并将数据发送到 ES 中。Logstash 是一个开源的服务器端数据处理管道。

1.6 Kibana

Kibana 是一款 ES 的数据可视化和管理工具,可以提供直方图,线形图,饼状图,地图。Kibana 还包含 Canvas 和 Elastic Maps 等应用程序。Canvas 可以基于用户创建动态信息。Elastic Maps 可以对空间数据进行可视化处理。

2. 为什么要使用ES

  • ES 很快:ES 是在 Lucene 基础上构建,所以全文本搜索相当的出色。ES 还是一个实时搜索平台。文档索引操作到文档变为可搜索之间速度很快。
  • ES 具有分布式的特征:ES 中保存的文档分布在不同的容器中,这些容器为分片,可以对分片进行复制并形成冗余副本。ES 可以扩充到数百台,并处理 PB 级别的数据。
  • ES 包含一系列广泛的功能:ES 拥有大量的内置功能,方便用户管理数据。
  • ES 简化了数据采集,可视化报告的过程:通过与 Beats 和 Logstash 集成,用户可以在 ES 中索引数据并处理数据,

3. ES搭建

安装镜像:

1
docker pull docker.elastic.co/elasticsearch/elasticsearch:7.3.2

启动容器:

1
docker run -d --name es -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:7.3.2

修改配置:

1
2
3
4
5
6
7
8
9
10
11
12
13
#进入 docker 容器内部

docker exec -it es /bin/bash

#打开配置文件

vim config/elasticsearch.yml

### 加入跨域配置

http.cors.enabled: true

http.cors.allow-origin: "*"

进入容器,安装分词器:

1
2
docker exec -it es /bin/bash
./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.3.2/elasticsearch-analysis-ik-7.3.2.zip

重启 ES:

1
docker restart es

测试:

在这里插入图片描述

查看分词器是否安装上:

在这里插入图片描述

4. ES查询

4.1 空查询

空查询将会返回一个索引库中所有文档:

1
2
3
curl -X GET "localhost:9200/_search?pretty" -H 'Content-Type: application/json' -d'
{}
'

在一个或者多个索引库或者所有的 _type 中查询:

1
2
GET /index_2014*/type1,type2/_search
{}

使用分页:

1
2
3
4
5
GET /_search
{
"from": 30,
"size": 10
}

4.2 查询表达式

只需要在查询上,将语句传递给 queue 参数:

1
2
3
4
GET /_search
{
"query": YOUR_QUERY_HERE
}

4.3 查询语句的结构

一个查询的典型结构:

1
2
3
4
5
6
{
QUERY_NAME: {
ARGUMENT: VALUE,
ARGUMENT: VALUE,...
}
}

针对某个字段:

1
2
3
4
5
6
7
8
{
QUERY_NAME: {
FIELD_NAME: {
ARGUMENT: VALUE,
ARGUMENT: VALUE,...
}
}
}

如果想要使用 match 查询 tewwt 字段中包含 elasticsesh 的内容。

1
2
3
4
5
6
7
8
9
curl -X GET "localhost:9200/_search?pretty" -H 'Content-Type: application/json' -d'
{
"query": {
"match": {
"tweet": "elasticsearch"
}
}
}
'

4.4 合并查询

分为叶子语句,被用于将查询字符串和字段进行对比,复合语句用于合并其他查询语句。

例如下面语句:找出信件正文包含 business opportunity 的星标邮件,或者在邮件正文包含 business opportunity 的非垃圾邮件:

1
2
3
4
5
6
7
8
9
10
11
12
13
{
"bool": {
"must": { "match": { "email": "business opportunity" }},
"should": [
{ "match": { "starred": true }},
{ "bool": {
"must": { "match": { "folder": "inbox" }},
"must_not": { "match": { "spam": true }}
}}
],
"minimum_should_match": 1
}
}

4.5 常用查询

4.5.1 match_all查询

该查询匹配所有文档:

1
{ "match_all": {}}

4.5.2 match查询

用于使用分词器进行查询:

1
{ "match": { "tweet": "About Search" }}

4.5.3 multi_match查询

用于在多个字段上执行相同更多 match 查询:

1
2
3
4
5
6
{
"multi_match": {
"query": "full text search",
"fields": [ "title", "body" ]
}
}

4.5.4 range查询

用于找出在指定区间内的数字或者时间:

1
2
3
4
5
6
7
8
{
"range": {
"age": {
"gte": 20,
"lt": 30
}
}
}

4.5.5 term查询

用于进行精确匹配:

1
2
3
4
{ "term": { "age":    26           }}
{ "term": { "date": "2014-09-01" }}
{ "term": { "public": true }}
{ "term": { "tag": "full_text" }}

4.5.6 terms 查询

用于进行多值匹配:

1
{ "terms": { "tag": [ "search", "full_text", "nosql" ] }}

4.5.7 exists查询和missing查询

用于查询在指定字段中有值或者无值的文档:

1
2
3
4
5
{
"exists": {
"field": "title"
}
}

5. ES索引

5.1 创建一个索引

1
2
3
4
5
6
7
8
9
PUT /my_index
{
"settings": { ... any settings ... },
"mappings": {
"type_one": { ... any mappings ... },
"type_two": { ... any mappings ... },
...
}
}

此刻,ES 会自动创建一个索引。

5.2 删除一个索引

1
DELETE /my_index

5.3 索引设置

  • number_of_shards:每个索引的主分片数
  • number_of_replicas:每个主分片的副本数

创建只有 一个主分片,没有副本的小索引:

1
2
3
4
5
6
7
PUT /my_temp_index
{
"settings": {
"number_of_shards" : 1,
"number_of_replicas" : 0
}
}

5.4 配置分析器

standard 分析器是用于全文字段的默认分析器,包含以下部分:

  • standard 分词器,通过单词边界分割输入的文本。
  • standard 语汇单元过滤器,目的是整理分词器触发的语汇单元(但是目前什么都没做)。
  • lowercase 语汇单元过滤器,转换所有的语汇单元为小写。
  • stop 语汇单元过滤器,删除停用词—对搜索相关性影响不大的常用词,如 a、the、and、is。

在下面的例子中,创建了一个新的分析器 es_std,并使用预定义的西班牙语停用词列表。

1
2
3
4
5
6
7
8
9
10
11
12
13
PUT /spanish_docs
{
"settings": {
"analysis": {
"analyzer": {
"es_std": {
"type": "standard",
"stopwords": "_spanish_"
}
}
}
}
}

进行测试:

1
2
3
curl -X GET "localhost:9200/spanish_docs/_analyze?analyzer=es_std&pretty" -H 'Content-Type: application/json' -d'
El veloz zorro marrón
'

通过结果进行查看:

1
2
3
4
5
6
7
{
"tokens" : [
{ "token" : "veloz", "position" : 2 },
{ "token" : "zorro", "position" : 3 },
{ "token" : "marrón", "position" : 4 }
]
}

5.5 自定义分析器

在 analysis 下的相应位置设置字符过滤器,分词过滤器,词单元过滤器。

1
2
3
4
5
6
7
8
9
10
11
PUT /my_index
{
"settings": {
"analysis": {
"char_filter": { ... custom character filters ... },
"tokenizer": { ... custom tokenizers ... },
"filter": { ... custom token filters ... },
"analyzer": { ... custom analyzers ... }
}
}
}

接着创建一个自定义分析器,用于清楚 html 部分,将 & 映射为 and:

1
2
3
4
5
6
"char_filter": {
"&_to_and": {
"type": "mapping",
"mappings": [ "&=> and "]
}
}

使用标准分词器讽刺,小写词条使用小写过滤,使用自定义停止词过滤器移除自定义的停止词列表中包含的词。

1
2
3
4
5
6
"filter": {
"my_stopwords": {
"type": "stop",
"stopwords": [ "the", "a" ]
}
}

最后使用分析器,自定义组合过滤器和分词器。

1
2
3
4
5
6
7
8
"analyzer": {
"my_analyzer": {
"type": "custom",
"char_filter": [ "html_strip", "&_to_and" ],
"tokenizer": "standard",
"filter": [ "lowercase", "my_stopwords" ]
}
}

总和如下所示:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
curl -X PUT "localhost:9200/my_index?pretty" -H 'Content-Type: application/json' -d'
{
"settings": {
"analysis": {
"char_filter": {
"&_to_and": {
"type": "mapping",
"mappings": [ "&=> and "]
}},
"filter": {
"my_stopwords": {
"type": "stop",
"stopwords": [ "the", "a" ]
}},
"analyzer": {
"my_analyzer": {
"type": "custom",
"char_filter": [ "html_strip", "&_to_and" ],
"tokenizer": "standard",
"filter": [ "lowercase", "my_stopwords" ]
}}
}}}
'

测试一下:

1
2
3
curl -X GET "localhost:9200/my_index/_analyze?analyzer=my_analyzer&pretty" -H 'Content-Type: application/json' -d'
The quick & brown fox
'

可以看到结果如下所示:

1
2
3
4
5
6
7
8
{
"tokens" : [
{ "token" : "quick", "position" : 2 },
{ "token" : "and", "position" : 3 },
{ "token" : "brown", "position" : 4 },
{ "token" : "fox", "position" : 5 }
]
}

最后,把这个分词器用在 string 字段上:

1
2
3
4
5
6
7
8
9
10
curl -X PUT "localhost:9200/my_index/_mapping/my_type?pretty" -H 'Content-Type: application/json' -d'
{
"properties": {
"title": {
"type": "string",
"analyzer": "my_analyzer"
}
}
}
'

6. 类型和映射

6.1 Lucene如何处理文档

在 Lucene 中一个文档由键值对组成。在索引文档的时候,每个字段的值都会添加到相关字段的倒排序中。

6.2 类型如何实现

每个文档的类型名称将会保存在 _type 字段上,当要检索字段的时候,ES 会自动在 _type 字段上检索。

例如在 User 类型中,name 字段会映射声明为 string 类型,并索引到 name 的倒排序中,需要使用 whitespace 分词器分析。

1
2
3
4
"name": {
"type": "string",
"analyzer": "whitespace"
}

6.3 Lucene索引的每个字段都包含一个单一的扁平的模式

在 Lucene 中,一个特定的字段可以映射到 string 类型或者是 number 类型,但是不能两者兼具。因为 ES 添加的优于 lucene 的额外机制(以元数据 _type 字段的形式。)在 ES 中所有类型都最终共享相同的映射。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
{
"data": {
"mappings": {
"people": {
"properties": {
"name": {
"type": "string",
},
"address": {
"type": "string"
}
}
},
"transactions": {
"properties": {
"timestamp": {
"type": "date",
"format": "strict_date_optional_time"
},
"message": {
"type": "string"
}
}
}
}
}
}

在上方中,"name"/"address""timestamp"/"message" 虽然是独立的,但是在 Lucene 中是一个映射。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
{
"data": {
"mappings": {
"_type": {
"type": "string",
"index": "not_analyzed"
},
"name": {
"type": "string"
}
"address": {
"type": "string"
}
"timestamp": {
"type": "long"
}
"message": {
"type": "string"
}
}
}
}

对于整个索引,映射在本质上被 扁平化 成一个单一的、全局的模式。

7. Java连接JS

添加依赖:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
<!-- TransportClient 依赖包-->
<dependency>
<groupId>org.elasticsearch.client</groupId>
<artifactId>transport</artifactId>
<version>6.2.2</version>
</dependency>

<!-- 测试包,与 JAVA 连接 ES 无关 -->
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.12</version>
<scope>test</scope>
</dependency>

创建 ES 集群:

在这里插入图片描述连接 ES:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
package cn.zsm.es;

import org.elasticsearch.client.transport.TransportClient;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.transport.TransportAddress;
import org.elasticsearch.transport.client.PreBuiltTransportClient;
import org.junit.Before;
import org.junit.Test;

import java.net.InetAddress;
import java.net.UnknownHostException;

public class JavaEsTest {

private String IP;
private int PORT;

@Before
public void init(){
this.IP = "192.168.?.?";
this.PORT = 9300;
}

@Test
public void esClient(){
try {
Settings settings = Settings.builder().put("cluster.name", "my-application").build();
TransportClient client = new PreBuiltTransportClient(settings)
.addTransportAddresses(new TransportAddress(InetAddress.getByName(IP), PORT));
System.out.println(client.toString());
} catch (UnknownHostException e) {
e.printStackTrace();
}
}

}

测试结果:

在这里插入图片描述


本站由 卡卡龙 使用 Stellar 1.29.1主题创建

本站访问量 次. 本文阅读量 次.