一种特大LOB数据高并发低延迟的更新访问方法_CN111694847B_易鲸捷.PDF
免费下载
(19)国家知识产权局
(12)发明专利
(10)授权公告号
(45)授权公告日
(21)申请号 202010499819 .2
(22)申请日 2020 .06 .04
(65)同一申请的已公布的文献号
申请公布号 CN 111694847 A
(43)申请公布日 2020 .09 .22
(73)专利权人 贵州易鲸捷信息技术有限公司
地址 550000 贵州省贵阳市贵阳综合保税
区都拉营综保路349号海关大楼8楼
801
(72)发明人 冀贤亮 王效忠 刘明 何振兴
苏锦佩
(74)专利代理机构 天津企兴智财知识产权代理
有限公司 12226
专利代理师 马倩倩
(51)Int.Cl .
G06F
16/22
(2019 .01)
G06F
16/23
(2019 .01)
G06F
16/2453
(2019 .01)
G06F
16/2458
(2019 .01)
G06F
16/28
(2019 .01)
(56)对比文件
CN 104657459 A ,2015 .05 .27
CN 109933570 A ,2019 .06 .25
US 6738790 B1 ,2004 .05 .18
审查员 曹洋菁
(54)发明名称
一种特大LOB数据高并发低延迟的更新访问
方法
(57)摘要
本发明提供了一种特大LOB数据高并发低延
迟的更新访问方法，包括如下内容：1)创建用户
表时，为每个LOB列创建至少一个HDFS文件 ,用于
存储LOB数据；2)针对每个LOB列，创建一个SQL分
区表；3)当LOB值小于等于预设的第一阀值时，分
割成多行直接存储到SQL分区表中以及相关的元
信息；当LOB值大于第一阀值时则存储到HDFS文
件中，SQL分区表则用于保存LOB数据存储在HDFS
文件中产生的元数据。本发明将分布式文件系统
的高吞吐特性和分布式SQL表的低延迟以及ACID
特性巧妙的结合起来，采用记录少量Delta数据
以及SQL表常驻内存特性来提高更新的性能，并
把耗时的操作比如I/O等从用户发起的事务中剥
离出来。
权利要求书2页 说明书6页 附图2页
CN 111694847 B
2023.07.18
CN 111694847 B
1 .一种特大LOB数据高并发低延迟的更新访问方法，其特征在于，包括如下内容：
1)创建用户表时，为每个LOB列创建至少一个HDFS文件,用于存储LOB数据；
2)针对每个LOB列，创建一个SQL分区表；
3)当LOB值小于等于预设的第一阀值时，分割成多行的LOB数据和相关元信息都直接存
储到SQL分区表中；当LOB值大于第一阀值时则存储到HDFS文件中，SQL分区表则用于保存
LOB数据存储在HDFS文件中产生的元数据；其中，
针对插入的LOB数据写入HDFS文件后，其作为基准数据，后续的局部Update和Append操
作只产生Delta数据并存储在SQL分区表中；对基准数据进行分片和编号，SQL分区表通过编
号记录对应分片的Delta数据，且数据在HDFS文件中是连续存储。
2.根据权利要求1所述的方法，其特征在于：所述SQL分区表的字段包括：data_inline
字段，用于存储数据；flag字段 ，用于标记此记录是元数据、缓存数据或者Delta数据 ；
COLUMNS系统表中data_inline_size字段值表示data_inline字段的大小；
当LOB值小于等于预设的第一阀值时，以data_inline_size字段值的大小为基准分割
成多行直接存储到SQL分区表的data_inline字段中；
对基准数据以data_inline_size字段值的大小为基准进行分片和逻辑编号，Delta数
据存储在data_inline字段中。
3 .根据权利要求1所述的方法，其特征在于：当更新操作结束后，检测Delta数据是否过
多，或者末尾片段追加数据是否过多，若超过预设的阈值后，产生一个Compact操作的任务
请求，后台线程安排进行Compact操作。
4 .根据权利要求1所述的方法，其特征在于：当SQL分区表的大小超过一定范围时，开启
后台线程或进程，对LOB数据进行Compact操作：
对基准数据和Delta数据进行合并后生成新的基准数据，然后删除和失效SQL分区表中
的Delta数据和缓冲数据，并更新SQL分区表中元数据从而指向HDFS文件中新的基准数据；
当整个HDFS文件本身大小未影响性能或小于预定阀值时，新的基准数据追加到HDFS文
件末尾，旧基准数据并未从HDFS文件中删除；
当HDFS文件中的垃圾数据占比过半时或超过预定阀值时，Compact整个HDFS文件，把新
的基准数据写入新的HDFS文件中，重制SQL分区表中的元数据，当旧HDFS文件中保存的所有
有效的LOB列值都Compact结束后即可删除；此过程中，新插入的数据需保存到新HDFS文件
中。
5 .根据权利要求1所述的方法，其特征在于：接收到Update请求后：
首先从SQL分区表获取元数据信息，判断LOB值大小是否超过第一阈值：
若小于则从SQL分区表中读取LOB数据，然后根据更新请求生成新数据并覆盖旧数据；
若大于则计算该数据所在分片，再判断分片是否存在Delta数据，若无则根据HDFS文件
中数据生成Delta数据并插入SQL分区表中；若有，则根据基准数据和Delta数据生成新的
Delta数据并覆盖旧的Delta数据。
6 .根据权利要求5所述的方法，其特征在于：Compact整个HDFS文件时采用对每个LOB列
值开启不同的事务逐一进行Compact操作。
7 .根据权利要求1所述的方法，其特征在于：SQL分区表按需设置是否常驻内存。
8.根据权利要求2所述的方法，其特征在于：当LOB值超过第一阀值存储到HDFS文件中
权 利 要 求 书
1/2 页
2
CN 111694847 B
2
of 11
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论