一种时序数据的存储方法-CN112181973A 程洪泽 北京涛思数据科技有限公司.pdf
免费下载
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 201910583172 .9
(22)申请日 2019.07.01
(71)申请人 北京涛思数据科技有限公司
地址 100102 北京市朝阳区利泽中园106号
楼4层401B
(72)发明人 程洪泽 廖浩均 陶建辉
(74)专利代理机构 北京元本知识产权代理事务
所(普通合伙) 11308
代理人 秦力军
(51)Int.Cl.
G06F
16/22
(2019 .01)
G06F
16/2455
(2019 .01)
(54)发明名称
一种时序数据的存储方法
(57)摘要
本发明公开了一种时序数据的存储方法，包
括：将来自网络的每条时间线的时序数据记录以
行式存储方式缓存至内存；当所述内存中缓存的
一条时间线的时序数据记录需要落盘时，确定所
述时间线的待落盘的时序数据记录的 条数和
Last文件中的时序数据记录的条数之和；若所述
时间线的时序数据记录条数之和小于预定数据
记录条数N，则将所述时间线的待落盘的时序数
据记录写入所述Last文件中；若所述时间线的时
序数据记录条数之和大于或等于预定数据记录
条数N，则将所述时间线的待落盘的时序数据记
录和所述Last文件中的时序数据记录合并后以
列式存储方式写入data文件中。
权利要求书2页 说明书6页 附图3页
CN 112181973 A
2021.01.05
CN 112181973 A
1 .一种时序数据的存储方法，其特征在于，所述方法包括：
将来自网络的每条时间线的时序数据记录以行式存储方式缓存至内存；
当所述内存中缓存的一条时间线的时序数据记录需要落盘时，确定所述时间线的待落
盘的时序数据记录的条数和Last文件中的时序数据记录的条数之和；
若所述时间线的时序数据记录条数之和小于预定数据记录条数N，则将所述时间线的
待落盘的时序数据记录写入所述Last文件中；
若所述时间线的时序数据记录条数之和大于或等于预定数据记录条数N，则将所述时
间线的待落盘的时序数据记录和所述Last文件中的时序数据记录合并后以列式存储方式
写入data文件中。
2 .根据权利要求1所述的方法，其特征在于，所述内存中缓存的一条时间线的时序数据
记录需要落盘包括：
检测所述内存或所述内存中缓存的某一时间线的偏移量列表；
若所述内存不足或所述内存中缓存的某一时间线的偏移量列表被占满时，确定所述内
存中缓存的一条时间线的时序数据记录需要落盘。
3 .根据权利要求1所述的方法，其特征在于，所述Last文件为所述每条时间线预留用来
存储该条时间线的N条时序数据记录的存储空间。
4 .根据权利要求3所述的方法，其特征在于，所述将所述时间线的待落盘的时序数据记
录写入所述Last文件中包括：
将所述时间线的待落盘的时序数据记录追加到所述时间线的存储空间中的所有时序
数据记录之后。
5 .根据权利要求1所述的方法，其特征在于，所述Last文件中具有包含N个偏移量记录
的偏移量列表，所述偏移量记录用于指示所述时间线的时序数据记录的偏移量。
6 .根据权利要求5所述的方法，其特征在于，在将所述时间线的待落盘的时序数据记录
写入所述Last文件中后，将相应时序数据记录的偏移量依次追加到所述时间线的偏移量列
表中。
7 .根据权利要求1所述的方法，其特征在于，所述Last文件中包含在前已写入的所述时
间线的时序数据记录。
8.根据权利要求7所述的方法，其特征在于，所述将所述时间线的待落盘的时序数据记
录写入所述Last文件中包括：
将所述时间线的待落盘的时序数据记录和从所述Last文件中读取的所述时间线的时
序数据记录进行合并，得到所述时间线的已合并时序数据记录；
创建用于存储所述时间线的已合并时序数据记录的新Last文件；
将所述时间线的已合并时序数据记录写入所述新Last文件中，然后删除所述时间线的
原有的Last文件。
9 .根据权利要求1所述的方法，其特征在于，所述将所述时间线的待落盘的时序数据记
录和所述Last文件中的时序数据记录合并后以列式存储方式写入data文件中包括：
从所述Last文件中读取所述时间线的时序数据记录；
将所述时间线的待落盘的时序数据记录和从所述Last文件中读取的所述时间线的时
序数据记录进行合并，得到所述时间线的已合并时序数据记录；
权 利 要 求 书
1/2 页
2
CN 112181973 A
2
of 12
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论