暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

主数据治理解决方案介绍

数通畅联 2022-06-24
880
随着科学技术的迅速发展,以云计算、大数据、物联网、人工智能为代表的新一轮科技变革正在推动数据采集、管理、分析加工能力的持续升级。新一代的信息技术催生出新的产品、新的服务、新的业态、新的模式。当前,以信息技术为基石的新的经济形态已经从技术变革层面拓展到企业运行、产业融合、社会生活、人际交往等各个维度,正在释放推动产业融合、经济转型升级和社会进步的巨大能量。
如何更深入地挖掘数据价值获得了越来越多企业的广泛关注,从主数据治理入手是其中非常有效的途径。主数据管理保证了企业内数据的一致性、完整性和准确性,不仅能够形成完整、统一的数据视图,而且能够真实地记录变化历史,为管理决策、风险的识别和控制提供了坚实可靠的数据基础。
主数据概念定义
伴随着企业信息化进程的不断深入,企业IT应用的业务场景越来越复杂,来自跨业务、跨部门和跨系统的业务连贯性需求越来越迫切。许多企业对系统数据的一致性、完整性和准确性提出了更高的要求,纷纷将目光投向主数据管理产品,使得主数据管理市场得到了迅速发展。然而,主数据究竟是什么呢?

1主数据的定义

主数据是指满足跨部门业务协同需要的,反映核心业务实体状态属性的基础信息。举个例子,公司的员工信息,存在于很多业务系统里,比如人力系统、财务系统、OA系统,以及考勤系统等,但每个系统所需要的信息可能不一样,财务系统需要员工开放信息,比如从哪个银行开户,账号是什么,这样方便打款;人力系统可能只是需要员工的一些入职信息。这样的员工信息就属于主数据,它在很多企业业务系统被使用,同时还能反映这个员工本身的一些属性。除此之外产品、物料、客商、客户、供应商也属于主数据。

2
主数据的特征

1.唯一性:在一个系统、一个平台甚至一个企业范围内同一主数据要求具有唯一的识别标志(代码、名称、特征描述等),用以明确区分业务对象、业务范围和业务的具体细节。
2.共享性:主数据特征会被作为业务流程的判断条件和数据分析的具体维度层次,因此需要保证主数据的关键特征在不同的应用、不同的系统中的高度一致共享,形成统一规范 。
3.稳定性:主数据作为用来描述业务操作对象的关键信息,在业务过程中其识别信息和关键的特征会被交易过程中产生的数据继承、引用、复制,但主数据本身的属性通常不会随交易的过程所被修改。
4.有效性:只要该主数据所代表的业务对象仍然在市场中继续存在或仍具有意义,则该主数据就需要在系统中继续保持其有效性,通常贯穿该业务对象在市场上的整个生命周期甚至更长。

3主数据的范围

不是企业内部所有的业务数据都是主数据,主数据的范围是指在企业各个系统间共享的必要的业务数据,简单来说就是在处理业务中被重复使用的数据,企业典型的主数据类型一般包括供应商、物料、产品、客户、组织、人员、财务等数据。此外,根据业务需求,关键基础数据也经常纳入主数据的管理范畴。
常见主数据问题

1数据缺失严重

缺少关键基础数据,部分辅助数据缺失或不全面,历史数据丢失严重。例如:有些信息是被遗漏的。可能是因为输入时认为不重要、忘记填写了或对数据理解错误而遗漏,也可能是由于数据采集设备的故障、存储介质的故障、传输媒体的故障、一些人为因素等原因而丢失了。

2数据质量偏差

在业务系统运行过程中,由于各类原因,会导致数据冗余、数据不一致、数据缺失等问题,例如计量单位不一致、编码不一致、同一实体多条记录等数据质量问题。这些问题数据如果不及时发现并处理,就会影响企业的运营,阻碍业务发展,甚至造成严重的后果。对于后续的数据分析,也会因为这些问题数据的存在而被干扰,分析结果将受其影响,误导管理层决策。

3数据规则不一

数据的标准包括了企业核心业务定义、数据模型、数据属性、参考数据、指标等,也包括了行业内部的数据标准。企业在各业务系统建设时如果缺少统一的数据标准,会导致开发和运维人员难以正确理解数据模型相关含义,致使企业不同业务系统集成和数据共享困难,同时也会导致企业的资源浪费

4利用价值偏低

企业中绝大部分系统处于分散、独立的状态,各系统独立运行,系统中的数据标准自成体系,系统与系统之间无法进行业务交互和数据交换,导致数据只在系统内部有效,不能与其他系统的相关数据进行关联分析,信息孤岛导致信息利用价值偏低
主数据治理原则
数据治理问题是一个系统化的问题,它涉及到企业的管理问题、业务问题,还有信息化建设问题。对于系统化的问题要有系统化的解决方案,主数据的治理应遵循“数据标准化、标准制度化、制度流程化、流程自动化、运营持续化”的五化原则。

1数据的标准化

“无规矩不成方圆”,数据标准就是通过制定一套由管理制度、管控流程、技术工具共同组成的体系,来对数据定义、分类、格式、编码等标准化管理。通俗地讲,对企业来说,数据标准就是对数据类型、长度、归属部门等定义一套统一的规范,以保障不同业务系统之间可以做到对同样的数据理解统一和使用统一。一般可从三个维度去对数据标准进行分类:数据结构、数据内容来源、技术业务。
1.从数据结构角度进行的数据标准分类
结构化数据标准是针对结构化数据制定的标准,通常包括:信息项分类、类型、长度、定义、值域等。
非结构化数据标准是针对非结构化数据制定的标准,通常包括:文件名称、格式、分辨率等。
2.从数据内容来源进行的数据标准分类
基础类数据标准是指业务系统直接产生的明细数据和相关代码数据,保障业务活动相关数据的一致性和准确性。
派生类数据标准是指基础类数据根据管理运营的需求加工计算而派生出来的数据,例如:统计指标、实体标签等。
3.从技术业务角度进行的数据标准分类
业务数据标准是指为实现业务沟通而制定的标准,通常包括:业务定义和管理部门,业务主题等。
技术数据标准是指从信息技术的角度对数据标准的统一规范和定义,通常包括:数据类型、字段长度、精度、数据格式等。

2标准的制度化

有人将主数据标准比喻为信息化系统中的一部“宪法”,这个比喻并不为过且非常贴切。制定主数据标准出来,就是要让各异构系统执行该标准,目的是解决各异构系统中核心数据的不一致、不完整、不准确等问题。而要让各业务系统执行统一的主数据标准,最为直接和有效的方式就是将标准制度化。标准制定化,不仅是指将数据标准形成制度化文件在企业范围内进行宣贯和执行,更重要的是需要明确定义出主数据的归口部门/主责部门,确定出主数据的申请、审批和使用的相关流程、岗位角色、岗位职责、操作要求以及相应的考核措施。主数据标准的制度化不仅有利于数据标准在各业务系统中贯彻执行,更有利于在企业各业务部门之间达成共识,从而促进企业业务效率的提升。

3制度的流程化

 主数据的标准和制度,用来描述实现主数据管理目标时,所应用到的操作、定义和约束,这些规则用来帮助企业更好地实现主数据管理的目标,而制度流程化就是要考虑如何把这些业务规则落地,以及落地的时候如何简化。制度流程化的最高境界是将主数据标准和制度潜移默化地融入到了业务流程中,让相关人员知道怎么按主数据标准管理和使用主数据,并按此执行。主数据制度的流程化,首先是需要将主数据管理业务化,也就是说主数据管理作为一项业务活动去做,而不仅仅是将主数据作为业务活动的衍生品。其次是定义主数据管理流程的各个环节,以及每个环节的岗位、职责和操作说明。

4流程的自动化

流程自动化原则强调了在主数据管理中应尽量使用自动化程序,以提升主数据管理的效率。在企业的信息化系统中,不同的主数据可能产生的源头系统不相同,例如:组织、人员主数据的源头系统是人力资源系统,客户主数据来自CRM系统,供应商主数据来自SCM系统。实现主数据管理目标的一个重要手段就是统一每一个主数据的入口,这就要求在主数据流程的落地过程中,一定要根据企业的实际情况,确定好主数据的权威数据来源。

5运营的持续化

运营持续化强调的是主数据的治理的不是一劳永逸,它必须随着时间、条件的变化而不断丰富、发展和完善。建立起企业数据治理的长效运营机制,才是企业数据治理之道。数据治理绝对不是一个纯粹的IT项目,而是解决业务上的当务之急要解决问题的一套完整的解决方案。数据治理本质上还是为了支撑业务目标的实现,应该由业务部门主导,IT部门执行,并且引入质量考核体系,将其与现有技术领域融合以实现更高的业务价值,保证主数据治理的“长治久安”。
主数据方案说明
伴随着互联网技术的高速发展,数据正在呈现爆发式的增长。为了使庞大的企业数据发挥更大的价值,企业必须着眼于数据治理和综合利用,通过数据驱动业务创新,提升管理水平,引领企业转型升级。

1使用场景说明

数据有误,造成大量定制视图或统计报表计算逻辑错误,导致流程监控出错;在重要信息发布与传输过程中,出现漏发、错发等现象;数据变更时,没有及时处理权限职责、作业分配等方面问题,导致工作出错或迟滞等等。

2方案架构说明

在“ MDM基础数据平台+ ESB应用集成平台”构成的基础数据治理方案中,MDM基础数据管理系统是对主数据进行同步、清洗、治理、分发全生命周期管理,通过ESB应用集成从主数据源头同步到主数据过程,通过ESB应用集成分发是把治理后的主数据分发给各个业务系统。

3产品价值分析

在此方案中, MDM能提高数据特征一致性、识别唯一性、高度共享性及长期有效性,从而获得“单一的基础数据来源”,避免提供的数据有误,造成大量定制视图或者统计报表计算逻辑错误,导致流程监控出错等一系列问题,为企业运营管理过程中深度应用集成、业务流程再造、业务升级创新提供准确的数据支撑。
ESB作为数据交换平台,支持应用间批量/增量数据交换和数据库间的数据交互,包括数据的抽取、转换和导入操作。各业务系统的基础数据只需通过ESB进行数据同步下发,帮助企业数据整合或数据中心建设。
主数据实施要点
对于主数据管理项目主要使用MDM主数据管理平台解决,但项目不仅靠技术工具,还要从团队建设、管理体系、技术体系等多方面考虑,更多在于确定架构、流程、原则。

1团队体系层面

主数据管理的基础是建立起企业级的管理团队,明确每位队员的责任,数据管理团队按照需要管控的内容进行岗位、角色的设置与分工,明确详细的分工职责,确定不同的主数据操作者,如:管理者、申请者、审批者、使用者等。

2管理体系层面

管理体系主要建立主数据管理的流程、规范、制度,建立主数据管理制度,制定信息代码管理办法,维护细则、培训机制、应用考核规范等管理制度,根据管理制度建立管理工作,并严格执行工作流程

3
技术体系层面

技术体系方面主要包括主数据管理工具、信息系统之间按照数据管理接口进行规范、建设数据标准模板等。
1.建立数据标准与规范
完成企业数据现状调研及需求分析、规划和设计信息标准化体系架构(设计信息标准化体系架构、组织管理管控、系统集成架构、运维架构体系等)、制定统一数据标准与规范(分类标准、描述模板、编码规则、数据模型等)。
通常在主数据管理项目中,典型的编码规则如下,以供应商为例:
(1)编码组成
供应商编码采用大写字母S(代表含义:供应商英文Supplier首字母)+9位无含义数字流水编码。
(2)编码说明
供应商编码由S+9位定长无含义流水码组成,编码顺序递增。
(3)编码结构及表示法
供应商编码结构为:
编码结构及表示法:
2.编制统一信息代码
按照数据标准和规范,对现有数据进行梳理和清理,基于前期对业务梳理与分析,规划设计一套基于统一编码的企业主数据管理模型,形成规范的数据代码库,以提高数据的共享性和唯一性,以供应商为例,具体规范如下:
3.搭建主数据管理平台
严格选型主数据管理工具,实现主数据申请、审批、校验、分发,数据建模、数据清洗、数据管理流程配置、系统管理等功能。主数据管理项目不仅需要搭建MDM主数据管理平台,还需要与ESB企业服务总线或ETL数据传输转换工具进行配合。通过主数据管理平台在整个企业内部制定并执行统一的、符合业务要求的、科学合理的数据标准,通过数据标准的执行使得企业内部的各个业务环境使用的主数据完整统一。
通过ESB或ETL完成业务数据同步分发部分的功能,在SOA综合集成理论中,通常使用ESB平台一同参与项目,实现批量数据传输、同步、分发及控制、多协议调用、多方式触发等,辅助基础数据治理。
主数据治理意义

1实现数据管控

通过数据管控体系和数据运维体系咨询服务,对组织架构、运营模式、管控流程、角色与职责进行明晰的定义。通过标准业务流程驱动,构建企业信息基础数据集成和共享平台,实现企业数据层面的战略规划管理。支持集团化多组织结构的复杂管理层级,能够构建在多组织结构上的应用系统,兼顾集团公司整体管理和下属企业作业流程之间的平衡。

2
降低集成成本

构建通用的、方便的、集中处理的数据总线,实现一致性的企业数据视图,大大降低数据交互访问的复杂性。基于面向服务架构的标准化数据服务,实现访问的透明化。数据自动化服务实现了统一的业务访问标准,主动分发服务保证了相关业务目标系统数据的变更同步性。通过数据总线,以灵活、可持续的方式支持任何面向业务的规则集合,保证数据的唯一和规范,大幅降低数据的集成和共享成本。应用数据标准模型和多重关联校验规则,对前端数据输入源头实现可靠的控制,有效降低人为因素所产生的数据问题,提高数据应用质量

3数据动态管理

基于标准的数据管理模型,实现基于数据平台的规则整合、统一定义和发布等事务的集中处理。通过数据的审计支持,来保证数据变化经过严格的审批;通过数据管理的持续优化和绩效改进,提升数据资产的管理成熟度。由此实现主数据申请、校验、审核、发布、维护、变更、注销等全生命周期的业务管理,实时跟踪和掌控数据的变化,建立数据的动态历史库,保证数据资产管理的持续优化和绩效改进

4精确决策支持

通过集中的主数据管理平台,为所有信息的交互和集成提供统一的编码数据。在异构系统之间协同业务处理的每个阶段,编码信息都是一致的,降低信息核对的成本。通过主数据管理和集成,保证信息来源的唯一性和正确性,为决策支持和数据仓库系统提供准确的数据源,避免因为基础数据的多样导致信息核对、汇总、统计的失误和错误。数据标准的应用提高了沟通的有效性,节约异构系统之间的交互成本,提升信息化的高端收益水平。
从企业角度而言,如何应对全球化、精益化、服务化、智能化和协同化的趋势发展,将数据信息转变为战略资产是一项艰巨的任务。但企业面对数据,不应该变得浮躁,急于求成。在企业数据治理这条曲折而漫长的道路上,这条路上讲究的不是谁快,而是谁稳,信息化意识、整体规划、构建前提、严格选型、协作配合缺一不可,只有这样,才能不偏离企业发展的战略目标,在企业信息化保卫战中立于不败之地,同时选择合适的伙伴,对于挖掘数据价值,赋能业务发展非常重要。

数通畅联多年来一直耕耘于企业IT架构、SOA综合应用集成、数据治理分析领域,在成长过程中深耕地产、制造等行业,积累行业集成项目经验,已形成完备的实施交付体系。在产品、技术逐步完善提升的同时,解决方案更加灵活合理,逐步深入行业。在更多、更细致场景中打磨产品和解决方案,让产品变成精品、实现打造首选整合利器、共克异构集成难题的愿景。

推荐阅读

文章转载自数通畅联,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论