Elasticsearch7.X ILM索引生命周期管理-冷热分离

zayki

542

12页

4次

2022-04-12

免费下载

公告

昵称： Mike.老王~

园龄： 3年7个月

粉丝： 1

关注： 2

+加关注

< 2021年10月 >

日一二三四五六

26 27 28 29 30 1 2

3 4 5 6 7 8 9

10 11 12 13 14 15 16

17 18 19 20 21 22 23

首页新闻博问专区

闪存

班级

代码改变世界

注册登录

Elasticsearch7.X ILM索引生命周期管理（冷热分离）

一、“索引生命周期管理”概述

Elasticsearch索引生命周期管理指：Elasticsearch从设置、创建、打开、关闭、删除的全生命周期过程的管理。

二、为什么要使用“索引生命周期管理”

1、ELK集群之前的索引模式，通过app_name和日期区分，随着时间累积，索引数量逐渐增多，造成服务器内存、

CPU、IO等指标上涨；

2、需要创建额外定时任务执行索引删除脚本，这种方式无法避免kafka重复消费造成的大量已删除索引重建，并无法用

脚本按日期删除；

Mike.老王运维笔记

博客园

首页

新随笔

联系

管理

Elasticsearch7.X ILM索引生命周期管理（冷热分离） - Mike.老王~ - 博客园 https://www.cnblogs.com/mikelaowang/p/13345318.html

第1页共12页 2021/10/26 9:23

24 25 26 27 28 29 30

31 1 2 3 4 5 6

搜索

找找看

谷歌搜索

我的标签

ELK冷热分离(1)

ES冷热分离(1)

ILM(1)

ELK(1)

索引生命周期管理(1)

openldap新版本配置(1)

openldap2.4.44(1)

openldap新版本(1)

openldap部署(1)

3、根据日志查询和存储的特点，将数据冷热分离，热数据使用高性能磁盘提高写入与查询效率，温数据只做查询不影响

数据写入性能，冷数据用OSS等低价存储作为归档节约存储成本。

三、面临的问题

1、ES生命周期策略要紧密贴合业务模型

2、数据冷热节点和生命周期策略需要合理规划

3、数据高可用性规划(单纯日志场景对数据可用性并不高，可以规划0副本索引，减小系统开销)

四、配置方法及原理

1、生命周期管理的本质--RollOver

当现有索引被认为太大或太旧时，滚动索引API将别名滚动到新索引。该API接受一个别名和一个条件列表。别名必须只

指向一个索引。如果索引满足指定条件，则创建一个新索引，并将别名切换到指向新索引的位置

2、使用场景

RollOver适合存放日志数据、索引非常大、索引实时导入数据等场景

在索引模板配置好索引的setting、mapping等参数，然后配置好_rollover规则，es会帮助你处理剩余的事情

索引生命周期管理使用了rollover的特性，将rollover分成四个阶段。

3、四个阶段

ES索引生命周期管理分为4个阶段：hot、warm、cold、delete，其中hot主要负责对索引进行rollover操作，warm、

cold、delete分别对rollover后的数据进一步处理

阶段

描述

hot

主要处理时序数据的实时写入

warm

可以用来查询，但是不再写入

cold 索引不再有更新操作，并且查询也会很少

delete 数据将被删除

Elasticsearch7.X ILM索引生命周期管理（冷热分离） - Mike.老王~ - 博客园 https://www.cnblogs.com/mikelaowang/p/13345318.html

第2页共12页 2021/10/26 9:23

of 12

免费下载

elk elasticsearch

关注

评论