es学习大纲.pdf - 墨天轮文档

es学习大纲.pdf

非主流DBA

609

7页

1次

2021-01-15

10墨值下载

一、elasticsearch简介

二、es安装部署

 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，

基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发

布，是一种流行的企业级搜索引擎。ElasticSearch用于云计算中，能够达到实时搜索，稳定，可靠，快

速，安装使用方便。官方客户端在Java、.NET（C#）、PHP、Python、Apache Groovy、Ruby和许多其

他语言中都是可用的。根据DB-Engines的排名显示，Elasticsearch是最受欢迎的企业搜索引擎，其次是

Apache Solr，也是基于Lucene。

  Elasticsarch的每一个运行实例称为一个节点，即可以在同一台计算机上运行多个实例，也可以在每

台计算机上只运行一个实例。

在一个分布式系统里，多个ES运行实例可以组成一个集群（cluster），该集群里有一个动态选举出来的主节

点。如果主节点失败，会自动选出新的节点做为主节点，所以不存在单点故障。

 在同一个子网内，只需要在每个节点上设置相同的集群名，这些集群名相同的节点会自动组成一个集群。

ES包含了节点和节点之间的通信模块及节点之间的数据分配和平衡模块。

 为了实现容错，ES会把查询文档集合分解为多个小的索引，每一个小的索引就叫做分片（shards）。每

一个分片都可以有0到多个副本（replicas），而每一个副本也都是分片的完整复制品，这样也提高了查询速

度。

 一旦ES的某个节点数据损坏或者服务不可用的时候，就可以用其他的节点来代替坏掉的节点，以达到高

可用的目的。当有节点加入或者退出时，主节点会根据机器的负载对索引分片进行重新分配，当“挂掉”对节点

再次重现启动对时候也会进行数据恢复（recovery）。

 ES通过网关（Gateway）来管理集群恢复，可以配置集群需要加入多少节点才能启动恢复数据。网关配

置用于恢复任务失败的索引。当节点崩溃并重新启动时，ES将从网关读取所有的索引和元数据。

1、安装一个java的环境

mkdir /opt/es-software

cd /opt/es-software

rpm -ivh jdk-8u102-linux-x64.rpm

#检查安装信息

java -version

java version "1.8.0_102"

Java(TM) SE Runtime Environment (build 1.8.0_102-b14)

Java HotSpot(TM) 64-Bit Server VM (build 25.102-b14, mixed mode)

#上传es安装包

rpm -ivh elasticsearch-6.6.0.rpm

#修改配置文件

vim /etc/elasticsearch/elasticsearch.yml

[root@es01 es-software]# egrep -v '^$|#' /etc/elasticsearch/elasticsearch.yml

node.name: es01

path.data: /var/lib/elasticsearch

path.logs: /var/log/elasticsearch

bootstrap.memory_lock: true   #内存锁

network.host: 10.0.0.100,127.0.0.1

http.port: 9200

#启动es服务

systemctl start elasticsearch

#在启动时发生内存锁定失败的问题

#官方文档介绍

三、es相关配置文件

四、elasticsearch相关概念

1、索引（相当于MySQL的库）

2、文档（相当于库中的一个表）

3、类型（相当于表中的字段）

4、映射

https://www.elastic.co/guide/en/elasticsearch/reference/current/setting-system-

settings.html#sysconfig

#解决方案

systemctl edit elasticsearch

[Service]

LimitMEMLOCK=infinity

#需要重新载入

systemctl daemon-reload

systemctl restart elasticsearch

#检验是否能正常工作

命令行的方式：curl 10.0.0.240:9200

浏览器的方式：http://10.0.0.240:9200

/etc/elasticsearch/elasticsearch.yml       #es的主要配置文件

/etc/elasticsearch/jvm.options          #调整jvm内存配置文件

/etc/init.d/elasticsearch             #启动脚本

/etc/sysconfig/elasticsearch           #配置环境变量

/usr/lib/sysctl.d/elasticsearch.conf       #配置环境变量

/usr/lib/systemd/system/elasticsearch.service   #启动服务用的文件

ES将它的数据存储在一个或者多个索引中。用sql领域的术语来类比，索引就像数据库，可以向索引写入文档

或者从索引中读取文档，并通过ES内部使用的Lucene将数据写入索引或从索引中检索数据。

索引是具有某些类似特征的文档集合，索引由名称标识（必须全部小写）。

文档是可以建立索引的基本信息单元。例如，可以为单个客户提供文档，为单个产品提供一个文档，为单个订

单提供一个文档。该文档以JSON（JavaScript Object Notation）表示，JSON是一种普遍存在的互联

网数据交换格式。

ES中每个文档都有与之对应的类型定义。这允许用户在一个索引中存储多种文档类型，并为不同文档类型提

供不同的映射。

ES中的索引模式叫做Mapping。索引中的每个文档都有一个type，每个type拥有自己的模式或者模式定义。

用户可以设置一些参数，来决定如何将输入文本分割为词条，哪些词条应该被过滤掉，或者哪些附加处理时有

必要被调用的。如排序时所需的字段内容信息，者就是mapping扮演的角色。