基于HBASE的批量装载快速生成数据统计信息的方法_CN111625577A_易鲸捷.PDF
免费下载
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202010411311.2
(22)申请日 2020 .05 .15
(71)申请人 贵州易鲸捷信息技术有限公司
地址 550000 贵州省贵阳市贵阳综合保税
区都拉营综保路349号海关大楼8楼
801
(72)发明人 陈贇人 杨永锋
(74)专利代理机构 成都中炬新汇知识产权代理
有限公司 51279
代理人 罗韬
(51)Int .Cl.
G06F
16/2458
(2019 .01)
G06F
16/25
(2019 .01)
(54)发明名称
基于HBASE的批量装载快速生成数据统计信
息的方法
(57)摘要
本发明公开了一种基于HBASE的批量装载快
速生成数据统计信息的方法，属一种数据信息快
速统计方法，步骤A、在HDFS目录下生成BulkLoad
目录，用于存放将外部数据转换成HBASE格式的
H F i l e 文 件 ；步 骤 B 、在 H D F S 目 录 下 生 成
BulkLoadStats统计信息目录，用于存放统计信
息数据的HFile文件；该方法通过在第一次读取
所有外部数据并将其转换为HBASE格式的HFile
文件时，同时进行统计信息的数据收集，从而仅
需一次全量外部数据的读取扫描即可完成原表
与统计信息采样表数据的生成，比同类方法对于
全量数据读取的性能提升了一倍，尤其适于对较
大数据量的外部数据进行数据统计信息表生成。
权利要求书1页 说明书3页
CN 111625577 A
2020.09.04
CN 111625577 A
1 .一种基于HBASE的批量装载快速生成数据统计信息的方法，其特征在于所述的方法
包括如下步骤：
步骤A、在HDFS目录下生成BulkLoad目录，用于存放将外部数据转换成HBASE格式的
HFile文件；
步骤B、在HDFS目录下生成BulkLoadStats统计信息目录，用于存放统计信息数据的
HFile文件；
步骤C、读取外部数据，转换成HBASE格式的HFile文件，存储在BulkLoad目录下；同时进
行Random的随机数生成，当生成的随机数落在数据取样率区间上时，则将当前的外部数据
同时存储在BulkLoadStats目录下，作为统计信息的采样数据；反之则继续读取下一行外部
数据；
步骤D、调用HBASE的doBulkLoad接口，将BulkLoad目录和BulkLoadStats统计信息目录
中的HFile文件载入到Region中，然后生成原表和统计信息采样表数据。
2.根据权利要求1所述的基于HBASE的批量装载快速生成数据统计信息的方法，其特征
在于所述方法还包括：步骤E、对统计信息采样表数据进行统计信息的收集，生成原表的直
方图数据。
3 .根据权利要求1所述的基于HBASE的批量装载快速生成数据统计信息的方法，其特征
在于：所述步骤C中每读取一行外部数据，均进行一次Random的随机数生成。
4 .根据权利要求1或3所述的基于HBASE的批量装载快速生成数据统计信息的方法，其
特征在于：所述Random的随机数生成为在0到9999之间随机生成一个整数N，然后预设取样
率R，当R×10000≤N时，则生成的随机数落在数据取样率区间上。
5 .根据权利要求4所述的基于HBASE的批量装载快速生成数据统计信息的方法，其特征
在于：所述R为外部数据量的10%-30%。
6 .根据权利要求4所述的基于HBASE的批量装载快速生成数据统计信息的方法，其特征
在于：使用Random .nextInt(10000)在0到9999之间随机生成整数N。
权 利 要 求 书
1/1 页
2
CN 111625577 A
2
of 5
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论