一种ETL流程执行hbase快速装载的方法与装置_CN-112667593-A_高东升_武汉达梦数据库股份有限公司.pdf
免费下载
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202011571993.X
(22)申请日 2020.12 .27
(71)申请人 武汉达梦数据库股份有限公司
地址 430000 湖北省武汉市东湖新技术开
发区高新大道999号未来科技大厦C3
栋16-19层
(72)发明人 高东升 梅纲
(74)专利代理机构 深圳市六加知识产权代理有
限公司 44372
代理人 向彬
(51)Int.Cl.
G06F
16/182
(2019 .01)
G06F
16/16
(2019 .01)
G06F
16/25
(2019 .01)
(54)发明名称
一种ETL流程执行hbase快速装载的方法与
装置
(57)摘要
本发明提供了一种ETL流程执行hbase快速
装载的方法与装置，方法包括：基于hbase快速装
载流程中的数据源节点组件、数据清洗转换组
件、hbase装载组件构造mapper任务中的ETL流
程；重定义mapper任务的run后运行，由数据源节
点组件读取数据，hbase装载组件将数据转成K/V
对写入mapper的context；reducer从context读
取规约后的Key/Values对并生成hfile文件，进
而利用hbasebulkload装载至hbase。本发明解决
了hbasebulkload中导入数据必须落地为临时
hdfs文件的问题，克服临时hdfs文件读写操作造
成的效率影响。
权利要求书2页 说明书7页 附图2页
CN 112667593 A
2021.04.16
CN 112667593 A
1 .一种ETL流程执行hbase快速装载的方法，其特征在于，包括：
基于hbase快速装载ETL流程中的数据源节点组件以及下游的数据清洗转换组件、
hbase装载组件，构造hbase bulk load的mapper任务子流程；
重定义mapper任务的run方法后运行mapper子流程，由数据源节点组件读取待导入的
数据后发送给下游节点组件，由hbase装载组件将数据转成Key/Value对写入mapper的
context；
hbase封装提供的reducer任务子流程从context读取规约后的Key/Values对并生成
hfile文件，进而利用hbase bulk load将hfile文件装载至hbase。
2.根据权利要求1所述的ETL流程执行hbase快速装载的方法，其特征在于，所述基于
hbase快速装载ETL流程中的数据源节点组件以及下游的数据清洗转换组件、hbase装载组
件，构造hbase bulk load的mapper任务子流程，具体为：
基于hbase快速装载ETL流程中的数据源节点组件以及下游的数据清洗转换组件、
hbase装载组件，得到序列化的组件对象集合；
对数据源进行分片以及分片读取设置，进而基于所述组件对象集合中的各组件以及各
分片数据源，构造hbase bulk load的一个或多个mapper任务子流程；
其中，每个分片数据源及其下游的数据清洗转换组件、hbase装载组件构成一个mapper
任务子流程，每个mapper读取对应的分片数据源。
3 .根据权利要求2所述的ETL流程执行hbase快速装载的方法，其特征在于，所述基于
hbase快速装载ETL流程中的数据源节点组件以及下游的数据清洗转换组件、hbase装载组
件，得到序列化的组件对象集合，具体为：
基于hbase快速装载ETL流程中的数据源节点组件以及下游的数据清洗转换组件、
hbase装载组件，构造hbase快速装载ETL流程的有向无环图；
在所述有向无环图中搜索hbase装载组件的上游组件至数据源节点组件，并从搜索到
的组件中排除无关hbase装载的数据源节点组件及其下游各组件；
基于剩余的数据源节点组件、数据清洗转换组件以及hbase装载组件，构造序列化的组
件对象集合，并保存在map reduce Job的Configuration中。
4 .根据权利要求2所述的ETL流程执行hbase快速装载的方法，其特征在于，每个分片数
据源包含对应的数据源节点组件信息以及数据分片信息，以便每个mapper读取对应的分片
数据源。
5 .根据权利要求2所述的ETL流程执行hbase快速装载的方法，其特征在于，所述对数据
源进行分片以及分片读取设置，具体为：
自定义map reduce的InputFormat为BulkLoadInputFormat；
BulkLoadInputFormat重写InputFormat的getSplits，实现数据源分片的获取；
Bul kL oad I n p u tF orm a t 重写 In pu tFo rma t的 cr e a teR ec ord Re a d er 为d u mm y
recordreader，以便在mapper子流程运行时读取对应的分片数据源。
6 .根据权利要求5所述的ETL流程执行hbase快速装载的方法，其特征在于，当数据源为
分区表时，按所述分区表的分区进行分片得到多个分片数据源；
当数据源为非分区表时，通过自定义分区进行分片得到多个分片数据源；
其中，每个分片数据源包含表信息，以及表分区信息或表范围划分信息。
权 利 要 求 书
1/2 页
2
CN 112667593 A
2
of 12
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论