暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

5分钟看懂:建设逻辑数据仓库,如何建模?(文末送书福利)

IT有得聊 2021-10-06
451

"IT有得聊”是机械工业出版社旗下IT专业资讯和服务平台,致力于帮助读者在广义的IT领域里,掌握更专业、实用的知识与技能,快速提升职场竞争力。 点击蓝色微信名可快速关注我们。

前文回顾:

数据湖火了,数据仓库地位不保?

内存计算,让数据飞起来

新技术如何改变数据平台设计的未来

不写代码,也能开发数据仓库?

数据从哪里来?构建数据仓库的源头活水

如何优雅地在数据湖中钓鱼

SAP世界的通关密语

数据建模,一切从字段说起

你能想到的数据模型建模选项,这里都有



它具有房子的所有结构和功能。
阳光照射下来,穿透了墙壁,洒满了整个房间。
寒来暑往中始终四季如春的阳光玻璃房,清新自然的空气和充沛温暖的阳光永远是主角。
具有模型的结构和功能,但是模型本身是放空的,不存储任何物理数据。开放ODS视图和复合提供者就是BW/4HANA建模世界中的阳光玻璃房。在SAP HANA内存计算平台上,它们可以为数据添加丰富的业务含义,从而直接面向业务用户提供各种服务,而不需要进行数据的复制和冗余存储。它们是BW/4HANA进行逻辑数据仓库建模的角色担当。





01

为数据添加业务含义




数据建模很重要的一个任务就是将纳入模型中的数据进行标准化和规范化,为它们指定明确、一致的业务含义,方便业务人员和后续业务应用系统的数据使用。

当外部系统或者数据湖中的数据进入到BW/4HANA平台做分析时,是否可以在数据不落地的情况下,为这些数据添加业务语义层呢?

答案是肯定的。
开放ODS视图就是这样的一个建模工具。
开放ODS视图是一种BW/4HANA元数据对象,它对数据源的数据结构进行语义上的定义和扩展,为数据源的数据指定标准化的字段和数据类型定义,设定字段描述及属性,将分析元数据添加到该数据源中。

一、开放ODS视图可以基于多种类型的数据源进行定义
(1)BW数据源
(2)数据库表或者视图
(3)使用HANA智能数据访问的虚拟表
(4)大数据源系统的数据
(5)数据存储对象
(6)转换

二、开放ODS视图对数据源字段的规范化与业务含义增强
开放ODS视图编辑器总是包含“常规(General)”选项卡。根据开放ODS视图的语义不同,还会显示相关的语义选项卡:事实表(Facts)、主数据(Master Data)或文本(Texts)。
其中,事实表、主数据或文本选项卡是维护开放ODS视图的核心区域,如图1所示。

图1 开放ODS视图编辑界面:事实表



在屏幕右方区域,显示了对当前选择的数据源字段或者视图字段的分析属性进行配置和增强的选项。
(1)通用(General):指定字段的名称与描述
(2)相关对象(Association):可以指定与字段相关的信息对象,根据字段的特点,将它关联到一个特征或关键值。
(3)特性相关属性(Characteristic-Specific Properties):如指定特性是否复合信息对象,或者指定特性是否用于用户分析权限管理。
(4)关键值相关属性(Key figure-Specific Properties):如指定关键值的聚集行为。
(5)报告相关属性(Reporting Properties):如指定字段在报表中是显示关键值还是描述,字段过滤值的显示范围等。

三、开放ODS视图有以下几种主要应用场景
(1)使用开放ODS视图可以不必经过数据抽取,用户直接基于开放ODS视图定义查询,实现在BW/4HANA中消费外部数据源。
(2)通过开放ODS视图的定义,将数据源里的字段关联到BW/4HANA系统中的信息对象或数据模型,进行数据整合。
(3)开放ODS视图在后续使用中,如果性能压力增大,可以快速切换到数据存储对象建模,进行外部数据加载。


02

数据对象的连接与联合




通过复合提供者进行建模,可以使用联合(Union)或者连接(Join)方式将多个BW数据模型与SAP HANA视图的数据合并在一起。复合提供者的连接和联合操作不是在应用服务器未完成的,而是在SAP HANA数据库中进行的,可以充分利用HANA的性能。

一、定义和编辑复合提供者
在复合提供者的编辑界面中,有“常规(General)”“场景(Scenario)”和“输出(Output)”几个选项卡。

在“场景”选项卡界面左侧,可以定义不同数据对象的联合(Union)或者连接(Join)操作。通过加入多个数据对象,对复合提供者进行进一步的扩展。例如,选择“Union”节点,图形会显示相应的操作选项,如图2所示。使用这些操作选项,可以将整个联合后的数据结果再和其他信息提供者或者HANA视图进行组合。

在界面右侧,系统会自动根据相同的信息对象进行匹配,不同信息提供者中相同的信息对象会匹配到复合提供者中的同一个信息对象。如图 2所示。

图2 编辑复合提供者:字段自动匹配


对于系统自动匹配的结果,可以手工进行调整和修改。

在“输出”选项卡中,可以定义复合提供者的每个字段在查询中的属性。这与开放ODS视图的设置选项类似,不再赘述。

二、使用复合提供者
像所有其他BW数据模型一样,用户可以在复合提供者上运行查询。如果选择了基于复合提供者生成SAP HANA视图,这个视图可以使用SQL方式对数据进行访问。

如果复合提供者是基于数据存储对象的联合,而且所有数据存储对象都是数据集市数据存储对象子类型,系统还支持通过数据传输过程(DTP)将这种复合提供者作为数据源进行数据增量提取。
03

虚拟建模,任重而道远




要掌握SAP BW/4HANA现代数据仓库的设计与应用,首先要掌握各种数据对象的功能定位和数据存储的特点。只有这样,才能根据不同的数据类型选择合适的数据对象,就像搭积木一样,用不同形状的积木,最终搭建起数据仓库的整体结构。

传统的数据仓库建模往往通过多次数据加工完成数据标准化和规范化的过程,每一次加工过程都使用物理模型对处理后的结果进行数据存储。这是典型的用空间换取时间的做法。在对大数据进行处理的过程中,空间换时间的原则在一些低成本的存储介质上仍然是适用的,但对于HANA这样的存储介质显然是不合适的。从业务应用要求看,要加快业务反应速度,提供实时和准实时的数据处理能力,空间换时间的原则也不再适用。

本文重点介绍了两种虚拟建模对象。开放ODS视图可以基于多种源对象进行定义,在源对象的基础上为各个字段添加丰富的业务涵义,或者进行字段到信息对象之间的匹配。复合提供者可以将多个数据模型进行连接或者联合,生成一个新的数据模型。同样地,它也可以对新模型的每个字段的涵义进行设置和扩展。这两种建模对象的共同特点是,它们自身是不进行数据的物理存储的,使用这两种建模对象,可以大量地减少数据的复制和冗余存储,缩短数据流处理流程,使现代数据仓库变得更加实时、敏捷。



-End-


本文作者:陈永杰 

著有《SAP大数据完全解决方案》等多本有影响力的SAP图书


推荐阅读


SAP中国公司高级认证顾问扛鼎之作 

为SAP大数据项目提供全面指南



(点击封面可进入详情页面)

作者:陈永杰 编著

关键词:企事业单位从事大数据规划、大数据应用设计人员 数据湖、数据仓库、大数据平台开发设计人员 SAP HANA、BW/4HANA、数据智能相关项目实施顾问、项目组成员

本书以企业传统数据仓库的改造和全新的大数据平台建设为出发点,讨论了内存计算技术带来的根本性变革及其对企业传统数据仓库架构设计的改变,并详细介绍了在应用Hadoop 等数据湖技术条件下的数据获取、数据建模、数据服务应用及管理方法。全新的大数据平台架构超越单个系统的物理界限,更多地采用虚拟建模与逻辑建模的方法,对企业内外、本地云端的全体数据进行统一的管理和应用调度,并使用机器学习技术进行各类创新应用的开发。


赠书福利

赠书方式:

识别下方小程序二维码,即可参与本次活动


赠书规则:

由抽奖小程序随机抽取1位幸运读者这位读者可获得《SAP大数据完全解决方案》一本


抽奖截止时间2021年10月7日  17:00


特别提示:

请大家关注抽奖小程序通知,如果中奖,请及时填写联系方式、收货信息并备注所选图书书名!


文章转载自IT有得聊,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论