基于lsm树键值分离的时序数据存储方法及系统_CN114780530B_上海沄熹科技.pdf
免费下载
(19)国家知识产权局
(12)发明专利
(10)授权公告号
(45)授权公告日
(21)申请号 202210486592 .7
(22)申请日 2022 .05 .06
(65)同一申请的已公布的文献号
申请公布号 CN 114780530 A
(43)申请公布日 2022 .07 .22
(73)专利权人 上海沄熹科技有限公司
地址 200120 上海市浦东新区中国（上海）
自由贸易试验区张东路1158号、丹桂
路1059号2幢305-22室
(72)发明人 李涛 辛越 管延信
(74)专利代理机构 济南信达专利事务所有限公
司 37100
专利代理师 孙晶伟
(51)Int.Cl.
G06F
16/215
(2019 .01)
G06F
16/22
(2019 .01)
G06F
16/2458
(2019 .01)
G06F
16/27
(2019 .01)
(56)对比文件
CN 113626431 A ,2021 .11 .09
CN 113704260 A ,2021 .11 .26
审查员 王琪
(54)发明名称
基于LSM树键值分离的时序数据存储方法及
系统
(57)摘要
本发明公开基于LSM树键值分离的时序数据
存储方法及系统，涉及数据存储技术领域；利用
键值分开存储的方式，将键存储到基于LSM树的
有序索引中，将值存储到基于顺序添加到键值日
志文件中，实现了快速范围查询的功能，解决现
有键值存储系统读、写操作延迟高，数据量较大
时产生的读、写以及空间放大等问题，同时使用
基于探测的压缩算法高效清理LSM树中的过期索
引，避免现有系统中LSM树压缩效率低导致索引
累积而引发的各种性能问题，并根据构建的全量
前缀删除统计表，利用表中索引键的前缀和元数
据中定义的删除时间能够在键值日志文件清理
垃圾数据时减少对有序索引的随机查询，解决现
有存储系统垃圾数据清理效率低下等问题且不
消耗更多资源。
权利要求书2页 说明书6页 附图5页
CN 114780530 B
2025.01.28
CN 114780530 B
1 .基于LSM树键值分离的时序数据存储方法，其特征是基于LSM树键值分离方式，根据
写请求通过分布式数据库将写入的键值数据封装成键值条目，所述键值条目包含索引键和
元数据，所述元数据包含时间戳和标签，
根据所述元数据中标签判断所述键值条目是否存在索引键的删除标记，若是则将索引
键的前缀和所述元数据中定义的删除时间构成一对键值，放入全量前缀删除统计表，
将所述键值条目写入到键值存储日志，利用所述索引键、所述元数据以及所述键值条
目在键值存储日志中的地址构造索引条目，将索引条目写入到跳表的排序字符串表中，相
邻层跳表间根据排序字符串表的重合数据进行合并，判断相邻层跳表中层级较小的跳表的
排序字符串表所存储的索引条目是否存在删除标记，并判断层级较大的跳表是否为非空的
最深层，若均为是则丢弃所述索引条目；
根据读请求中索引键与时间戳，查询全量前缀删除统计表，判断读请求中时间戳对应
的索引键是否被删除，若未被删除则查找索引条目，根据查找到的索引条目按照读请求判
断是否返回键值条目；
根据清理请求，遍历最旧的键值存储日志的所有键值条目，根据全量前缀删除统计表
记录的索引键的前缀和删除时间，判断所述最旧的键值存储日志是否需要保留，根据判断
结果清理键值存储日志或将键值存储日志重新写入分布式数据库。
2 .根据权利要求1所述的基于LSM树键值分离的时序数据存储方法，其特征是所述判断
相邻层跳表中层级较小的跳表的排序字符串表所存储的索引条目是否存在删除标记，若否
则保留所述索引条目，将所述索引条目写入新的排序字符串表，
若是则判断层级较大的跳表是否为非空的最深层，若否则保留所述索引条目，将所述
索引条目写入新的排序字符串表。
3 .根据权利要求1所述的基于LSM树键值分离的时序数据存储方法，其特征是将索引键
的前缀和删除时间构成的键值对放入全量前缀删除统计表，包括：
将索引键的前缀和删除时间构成的键值对，写入前缀删除统计表，
并根据写请求将全部键值条目写入到键值存储日志后，将前缀删除统计表与全量前缀
删除统计表进行合并。
4 .根据权利要求1所述的基于LSM树键值分离的时序数据存储方法，其特征是所述查询
全量前缀删除统计表，判断时间戳对应的索引键是否被删除，包括：
根据全量前缀删除统计表，确认时间戳对应的索引键已经被删除，则返回空给上层应
用，
根据全量前缀删除统计表，时间戳对应的索引键未被删除则在存储索引条目的跳表中
查找索引条目。
5 .根据权利要求1所述的基于LSM树键值分离的时序数据存储方法，其特征是所述判断
所述最旧的键值存储日志是否需要保留，包括：
根据索引键的前缀和删除时间，确认所述最旧的键值存储日志不需要保留，则清理键
值存储日志，
根据索引键的前缀和删除时间，确认所述最旧的键值存储日志需要保留，则将键值存
储日志重新写入分布式数据库。
6 .基于LSM树键值分离的时序数据存储系统，其特征是包括前置统计模块、键值存储模
权 利 要 求 书
1/2 页
2
CN 114780530 B
2
of 14
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论