一种兼容数据仓库和数据湖的数据存储平台构建方法_徐辛_CN 114528273 A_石原子科技.pdf
25墨值下载
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202210031313.8
(22)申请日 2022.01.12
(71)申请人 杭州石原子科技有限公司
地址 310000 浙江省杭州市余杭区五常街
道西坝路51号B座203、204室
(72)发明人 徐辛
(74)专利代理机构 沈阳工匠智诚知识产权代理
事务所(普通合伙) 21256
专利代理师 孙楠
(51)Int.Cl.
G06F
16/21
(2019 .01)
G06F
16/22
(2019 .01)
G06F
16/28
(2019 .01)
(54)发明名称
一种兼容数据仓库和数据湖的数据存储平
台构建方法
(57)摘要
本发明公开的属于数据处理技术领域，具体
为一种兼容数据仓库和数据湖的数据存储平台
构建方法，包括以下步骤：步骤1：采用列式存储
以及行列混存对数据湖和数据仓库的数据进行
存储；步骤2：对数据仓库和数据湖的存储层进行
整合，并采用分区的方式独立区隔数据湖和数据
仓储的存储区域；步骤3：构建统一的元数据管理
层，通过本层实现对上层应用负载屏蔽底层存储
实现细节，提供对上层应用负载的统一数据服
务，本发明不仅可以保证数据湖和数据仓库的正
常使用，还可以解决在两个产品之间存在的数据
冗余问题并向用户提供全局统一的数据管理视
图，进一步的还能够减少并简化了技术栈，减少
整体的管理和运维成本减少数据冗余和存储成
本。
权利要求书1页 说明书3页 附图1页
CN 114528273 A
2022.05.24
CN 114528273 A
1 .一种兼容数据仓库和数据湖的数据存储平台构建方法，其特征在于：包括以下步骤：
步骤1：采用列式存储以及行列混存对数据湖和数据仓库的数据进行存储；
步骤2：对数据仓库和数据湖的存储层进行整合，并采用分区的方式独立区隔数据湖和
数据仓储的存储区域；
步骤3：构建统一的元数据管理层，通过本层实现对上层应用负载屏蔽底层存储实现细
节，提供对上层应用负载的统一数据服务，进一步的可以面向用户提供全局统一的数据管
理视图；
其中所述元数据管理层包括数据仓库、数据湖的应用负载层与数据平台层，且数据平
台层包括数据层和元数据管理及数据管控层。
2.根据权利要求1所述的一种兼容数据仓库和数据湖的数据存储平台构建方法，其特
征在于：所述数据层用于存储数仓和数据湖中真实的物理数据，且数据层包括：Raw，数据湖
内的原始数据；Modeled，数据仓库内经过加工处理后的结果数据；Staging，数据仓库内进
行数据加工处理时需要临时保存的暂存数据。
3 .根据权利要求1所述的一种兼容数据仓库和数据湖的数据存储平台构建方法，其特
征在于：所述元数据管理及数据管控层用于管理下层数据层内的全部数据，并通过元数据
提供对上层的统一数据服务，且元数据管理及数据管控层包括：数据管控，面向下层数据层
内数据的管控功能，可以实现数据分区，数据监控，数据统一管理等服务；元数据管理，元数
据管理基于数据管控功能，提取和保存所有存储在数据层中数据的元数据，并通过Unity
catalog的形式向上层的应用负载提供统一的数据服务。
4 .根据权利要求1所述的一种兼容数据仓库和数据湖的数据存储平台构建方法，其特
征在于：所述步骤1中数据湖和数据仓库的数据存储与计算相互分离。
权 利 要 求 书
1/1 页
2
CN 114528273 A
2
of 6
25墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
文档被以下合辑收录
评论