一种时序数据的聚合优化处理方法-CN109164980A 廖浩均 北京涛思数据科技有限公司.pdf
免费下载
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 201810879115.0
(22)申请日 2018 .08 .03
(71)申请人 北京涛思数据科技有限公司
地址 100102 北京市朝阳区利泽中园106号
楼4层401B
(72)发明人 廖浩均 关胜亮 程洪泽 陶建辉
(74)专利代理机构 北京大成律师事务所 11352
代理人 王卫东 赵红梅
(51)Int .Cl.
G06F
3/06
(2006.01)
G06F
16/22
(2019 .01)
G06F
16/2458
(2019 .01)
(54)发明名称
一种时序数据的聚合优化处理方法
(57)摘要
一种时序数据的聚合优化处理方法 ,包括将
时序数据库文件划分为数据块文件和块索引文
件；按照计算的起止时间段扫描块索引文件，将
符合时间段条件和其他过滤条件的数据块抽出
来后，根据每个数据块在数据块文件里的偏移量
进行排序；按照排序后的数据块便宜量扫描数据
文件，对每个数据块进行指定的计算后，将计算
结果汇总,该方法无论是对于单一时间序列数据
的读取，还是对于多个时间序列的聚合操作，都
只需要打开一次数据文件进行扫描即可完成，大
幅提升整体性能。
权利要求书1页 说明书5页 附图1页
CN 109164980 A
2019.01.08
CN 109164980 A
1 .一种时序数据的聚合优化处理方法，其特征在于，包括如下步骤：
将时序数据库文件划分为数据文件和索引文件；
按照计算的起止时间段扫描索引文件，将符合时间段条件的所有需要聚合的时间序列
的索引块抽出来后，根据索引块里记录的数据文件偏移量进行排序；
按照排序后的索引块顺序扫描数据文件，对每个数据块进行指定的读取和计算后，将
计算结果汇总。
2.如权利要求1所述的方法，其特征在于：索引块排序时，偏移量小的排在前。
3 .如权利要求1所述的方法，其特征在于：数据文件包含多个时间序列的数据块。
4 .如权利要求1-3任一项所述的方法，其特征在于：索引文件记录每个时间序列的数据
块的信息。
5 .如权利要求4所述的方法，其特征在于：索引文件里，每个时间序列，都有一个索引汇
总信息块，以及一到多个索引块。索引汇总信息块包含时间序列的ID，数据块的个数。
6 .如权利要求3或5所述的方法，其特征在于：每个时间序列有一到多个索引块，每一个
数据块有一个对应的索引块，该索引块包含了数据块在数据文件里的偏移量，开始时间、结
束时间、记录条数。
7 .如权利要求1所述的方法，其特征在于：指定某一或多个时间序列和时间段后，将符
合时间段条件的数据块全部抽出的步骤，包括：
查找索引文件，找到对应的数据块在数据块文件里的偏移量并按偏移量进行排序；
根据排序后的偏移量，从数据块文件里读取数据块；
获取数据块里指定时间段的数据。
8.如权利要求1所述的方法，其特征在于：将时序数据记录写入数据库时，先将其写入
内存。
9.如权利要求8所述的方法，其特征在于：当内存的占用达到一定的比例或每隔一定的
时间，将内存缓存的时序数据写入磁盘。
10 .如权利要求9所述的方法，其特征在于：将时序数据写入磁盘的步骤包括：
1)每个时间序列的数据在内存里按照时间排序；
2)按照数据块大小的设置，对每一个时间序列数据，将内存数据用追加方式写入数据
文件，生成一个或多个数据块；
3)对每个新的数据块，将包括开始时间、结束时间、记录条数的数据块信息计入一个新
的索引块，写入索引文件；
4)每一个时间序列的索引汇总信息块与索引块信息连续存放，内存数据每次落盘时重
新生成新的块索引文件。
权 利 要 求 书
1/1 页
2
CN 109164980 A
2
of 8
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论