当今企业,尤其是大型企业,往往拥有众多独立的应用程序和系统,跨组织、跨部门的数据很容易变得支离破碎、重复、以及不能及时更新。企业之间各个部门的数据权限划分模糊,不同应用系统对于相同的字段在数据库中命名非常随意,很难保证统一,并且在进行数据统一时,很多应用系统的数据表的表结构需要进行变更,而修改数据的存储样式,很可能会对企业造成不可评估的影响。
随着数据源的增加,准确、及时的信息需求就会变得越来越迫切。保持数据定义是最新的,并一致地管理数据变得越来越难,企业各部门都使用相同的数据更是难上加难。为了应对这一挑战,企业主数据管理应运而生,主数据管理项目怎样实施落地备受大家的关注。伴随着企业信息化进程的不断深入,企业IT应用的业务场景越来越复杂,来自跨业务、跨部门和跨系统的业务连贯性需求越来越迫切。许多企业对系统数据的一致性、完整性和准确性提出了更高的要求,纷纷将目光投向主数据管理产品,使得主数据管理市场得到了迅速发展。然而,主数据究竟是什么呢?主数据是指满足跨部门业务协同需要的,反映核心业务实体状态属性的基础信息。举个例子,公司的员工信息,存在于很多业务系统里,比如人力系统、财务系统、OA系统,以及考勤系统等,但每个系统所需要的信息可能不一样,财务系统需要员工开放信息,比如从哪个银行开户,账号是什么,这样方便打款;人力系统可能只是需要员工的一些入职信息。这样的员工信息就属于主数据,它在很多企业业务系统被使用,同时还能反映这个员工本身的一些属性。除此之外产品、物料、客商、客户、供应商也属于主数据。1.唯一性:在一个系统、一个平台甚至一个企业范围内同一主数据要求具有唯一的识别标志(代码、名称、特征描述等),用以明确区分业务对象、业务范围和业务的具体细节。2.共享性:主数据特征会被作为业务流程的判断条件和数据分析的具体维度层次,因此需保证主数据的关键特征在不同应用、不同系统中高度一致共享,形成统一规范 。3.稳定性:主数据作为用来描述业务操作对象的关键信息,在业务过程中其识别信息和关键的特征会被交易过程中产生的数据继承、引用、复制,但主数据本身的属性通常不会随交易的过程所被修改。4.有效性:只要该主数据所代表的业务对象仍然在市场中继续存在或仍具有意义,则该主数据就需要在系统中继续保持其有效性,通常贯穿该业务对象在市场上的整个生命周期甚至更长。不是企业内部所有的业务数据都是主数据,主数据的范围是指在企业各个系统间共享的必要的业务数据,简单来说就是在处理业务中被重复使用的数据,企业典型的主数据类型一般包括供应商、物料、产品、客户、组织、人员、财务等数据。此外,根据业务需求,关键基础数据也经常纳入主数据的管理范畴。主数据管理平台作为主数据治理工具,建立数据治理标准,简化数据清洗工作,将内外部基础数据统一治理整合,解决数据不精确问题,保证企业内部数据的一致性、准确性、真实性,通过数据发现问题、反馈问题。企业数据总线基于平台协同功能,与主数据管理工具相互协作,提供数据的同步与分发,共同实现主数据治理,同时实现不同系统间服务、数据、信息的全面集成。基于云管理平台搭建主数据管理平台,可以提升部署效率,特别是针对集群式、高可用部署,云平台具有天然的优势。云平台部署模式在满足常规部署的同时,也提供了对于服务器资源的监控、运维的辅助,能协助运维人员快速进行服务器升级、扩容、启停等操作,降低运维难度。主数据体系架构工作分为三个阶段:第一阶段是规划设计阶段,完成管控组织体系设计、管控流程体系设计,建立主数据管理组织、岗位、人员,落实各级流程和职责分工;第二阶段为标准化阶段,简历各类主数据模型、业务标准和主数据标准,根据主数据类型简历相关专业团队中等专业性常态化组织,建立集中、统一、科学、规范的统一编码和标准属性库,对现有分散的主数据和系信息系统中统一应用标准化主数据进行清理;第三阶段为系统集成阶段,是最终建立集团企业内集中的主数据中心,为决策支持系统提供关键基础数据应用,同时建立定期评估、应用反馈的、机制,对主数据体系进行持续优化。梳理识别主数据,并明确数据流向是主数据管理的重点。首先着手进行主数据的调研,一般需要从项目的整体规划和实际业务出发,梳理主数据的具体范围,以及每一类主数据的编码、属性、来源、目标、集成等内容,具体包括以下内容。调研过程中要充分了解客户的核心业务,规划具体的建设内容和建设范围,梳理业务时结合现有的业务系统进行分析,明确业务运行过程中可能涉及的主数据,明确项目需要建设的主数据类别,既要考虑组织、岗位、人员等人事相关基础数据,同时也要考虑根据实际业务建设一些重要的主数据,支撑业务的同时也为后续深度主数据治理奠定基础。主数据的编码规则一般有两种情况:一是由源头系统提供,主数据管理平台直接引用源头系统编码,二是在主数据管理平台配置编码规则,在数据同步到主数据管理平台时自动生成。第一种直接复用源头系统,主数据管理平台无需进行处理,但是需要源头系统保证编码规则的唯一性、准确性;第二种主数据管理平台需要配置编码规则,可以保证唯一性、准确性,但是在同步时需要将编码回写源头系统,二者各有优势,在实际项目中可以根据实际需要灵活选择。参考数据由业务系统提供,一般由源头系统提供,主数据管理平台参考进行配置,同时由于各个系统参考数据的定义是不同的,所以涉及数据下发时,需要明确下游系统的参考数据定义方式,并在主数据管理平台进行关联配置。明确主数据来自于来源系统的模块,目标系统的接收接口,并确定数据集成的方式。数据集成支持推、拉、定时等方式,但是为了保证数据的及时性,绝大多数采用推、拉的方式,一般会涉及上下游系统的改造,包括上游系统的实时推送,以及下游系统的数据接收接口等,在调研时要明确具体的集成方式以及相关数据接口。使用主数据的好处不言而喻,但主数据系统实施建设过程中,主数据清洗、主数据集成、主数据滋养等建设难点不容忽视,只有提前预见,在建设过程中才能从容面对。主数据清洗就是在同步和治理过程中把主数据一些欠缺的、重复的、不符合规则的主数据进行清洗,保证上游业务系统的数据完整且正确。通过数据清洗功能下载主数据导入模板,源头业务系统把数据填写模板中,通过数据清洗导入功能进行导入清洗,检测出数据中欠缺的、重复的、不符合规则数据,通过导出功能把失败的数据导出到Excel中进行数据处理后,在重新导入重新检测直到所有数据成功为止,然后把所有成功的数据导出Excel中,返回给业务源头系统进行源头系统的数据清洗(源头系统添加主数据编码映射),通过主数据任务分发把标准的数据分发给业务系统,通过这样的过程保证源头、主数据、下发至业务系统的数据保持一致。通过企业数据总线将主数据的源系统、主数据系统、目标系统串联,通过企业数据总线进行主数据的采集分发,需要构建系统间的数据同步接口来实现,并通过企业服务总线对接口进行统一管理,保证主数据集成、业务集成的准确性、全面性以及可复用性。主数据管理是和数据相关的,而数据是不断增加的,在增加的过程中,不可避免地会出现没有预见到的新问题。因此要持续地对方案进行完善、对存量数据进行修正、对增量数据进行清洗。主数据项目的实施能够帮助企业初步建立起主数据的管理体系,包括:管理组织、制度和流程、数据标准、技术规范以及初始的主数据代码库等。但对于主数据的滋养——持续的运营工作,是发挥主数据价值的关键。实施主数据项目,只是数据治理的一个开始,企业要保持高质量的数据,必须持续地运营和不断的优化。随着市场发展的日趋成熟,“数据资产化”的概念逐步深入人心。面对指数级增长的数据量,如何满足不同业务和产品的需求、如何管理数据并从中发掘潜在机遇?这一切都建立在数据质量机制之上。在数据清洗前,与对应数据的源头系统进行协商,基于正则表达式配置对应校验规则,如:非空校验、唯一校验、手机号码校验、日期校验、邮箱校验等。注意:在配置完成后要进行正则验证。然后根据定义的校验规则进行数据清洗。数据质量是数据为产生业务价值和实现业务目标的基石。校验规则主要是针对不同的属性配置校验方式,如非空、数字、唯一、长度等,主要是为了保证主数据的规范性、完整性,降低人工维护时产生的异常数据,从而提高数据质量,加快业务系统对接、业务流程再造速度,提高业务响应速度。数据巡检主要是用来保证数据的唯一性,通过巡检功能来对数据进行查重处理来保证分发到下游业务系统的数据的唯一性。相似度巡检运算方式是根据多个字段的组合通过相似算法算出他们的相似百分比,然后查看是否超过配置的百分比数字,如果超过就判定为相似数据,然后记录到数据表中,还需添加新的质量校验算法,通过结果值乘以不同字段的阀值再除以阀值的相加和得出的数字进行数据巡检,巡检支持结果Excel输出,帮助客户提升主数据质量。主数据采集工作完成后,就可以进行该类数据的清洗。数据清洗的目的是检测数据中存在的错误和不一致数据,提出或者改正它们,将剩余部分转换成数据标准所接受的格式,以提高数据的质量。数据的清洗过程可能不止一次,必须事情而定。数据导入是完成数据清洗后,将正式数据导入正式系统的过程。前期的数据清洗工作已经将企业主数据转化为高质量的、标准的主数据形式,数据导入工作就是将这些数据平滑地转入新系统。数据导入工作的质量是系统成功上线的关键因素。只有做好了系统导入工作,才能顺利完成系统切换。搭建主数据管理平台,实现主数据的单一数据源,实现主数据清洗、申请/采集、维护、校验、审核、发布、归档等功能得到主数据全生命周期管理,更好地实现企业主数据管理,最大限度地体现数据的价值。主数据全生命周期管理理念的应用全面改变了原有主数据管理流程不规范、平台不统一、依靠人工校验的问题,实现了从分散到集成、从局部到全面、从手工非专业待专业自动化流程管理的转变,大幅度提高了数据处理的效率,提高了主数据应用的唯一性、准确性和规范性,为业务流程集成、数据挖掘和决策分析提供强大的基础支撑。主数据的同步是从数据源头系统获取组织、人员、岗位、客户、供应商等基础数据信息,通过企业数据总线将数据同步至主数据管理平台中,在主数据管理平台进行数据模型的创建、数据编码的定制以及数据质量的管理等等,最后将清洗后的完整且一致的数据通过企业数据总线分发至下游业务系统下游业务系统,供业务人员使用。
主数据管理的实施不是搭建一个主数据管理平台就能达到的,而是一项长期、复杂的工程。其中制定主数据标准是基础,规范主数据内容是过程,搭建主数据管理平台是技术手段,建立组织机构和流程是前提和保障。主数据管理实施一般包含项目准备、项目蓝图、项目实施、项目验收等四个阶段。
项目准备阶段的主要工作为成立项目组、召开启动大会、服务环境部署。通过成立项目组确定项目的组织机构、人员配置、项目的组织资源管理及组织职责;主数据项目启动会非常重要,其既是动员会,又是分工会,同时也是培训会。项目启动会是主数据项目良好的开端,项目启动会的顺利召开,可以起到事半功倍的效果,为后续顺利展开工作奠定坚实的基础。服务环境部署是指搭建开发环境,用于在调研阶段部给客户演示、调研需求和产品使用培训。项目蓝图阶段主要工作内容为需求调研、概要设计、制定标准规范、制定实施计划、蓝图确认等内容。需求调研主要工作是制定落地、高效的调研方案,包含调研计划、访谈提纲及项目调研问卷等;通过资料收集、业务需求调研、关键用户访谈等方式了解当前主数据管理现状和主要需求,发现数据相关问题和关注点。明确需求后,便可以对主数据体系进行概要设计,确立与企业目标相一致的建设目标。而后根据目标,进行主数据体系架构的设计。架构设计是主数据体系建设的关键环节,主要包括组织体系设计、管控体系设计、标准体系设计、安全体系设计四个方面,实现主数据管控体系建设和各级管控组织的流程设计,确认人员岗位、明确职责分工、规范业务流程、制定主数据管理规范、主数据应用标准、主数据集成服务标准。经过体系架构设计,企业的主数据体系已经基本成型,主数据管理平台的实施已经有了明确的系统需求。主数据治理项目的实施需要进行合理规划,对各类资源进行有效分配。实施阶段的主要任务是根据主数据标准体系实现对现有主数据的清洗和标准化,对主数据管理平台产品进行定制化开发、人员培训、系统部署上线等。主数据管理实施计划包括实施策略、实施计划、投资预算等内容。将需求调研的内容和项目的实施计划整合成蓝图文件,让客户方对内容进行确认。基于蓝图进行主数据的模型创建及对应应用集成流程开发工作,对实施阶段的主数据模型创建、集成开发以及和各业务系统联测说明如下:模型创建需涵盖如下几个技术要点:分别为数据建模、功能建模、分类数据建模、参考数据建模、功能组件等。我们构建的模型并不是一蹴而就的,主数据的模型创建是根据客户及源头业务系统的需求进行联动的,首先需要确定建模采用哪种功能模型,在这个模型的基础上进行字段的扩充丰富即可。应用集成流程开发是将主数据管理平台与各个目标信息系统集成,可以实现主数据的采集、分发等交互操作,从而最终实现将主数据服务于业务应用。根据系统集成的整体设计,企业要实现不同信息系统与主数据系统的集成应用,其中涉及接口策略配置、属性映射配置、分发/订阅条件设置、日志跟踪管理、数据同步管理、系统联调测试等。实功能测试出现问题更多的原因是业务场景考虑不全面导致的,所以在进行功能测试时要充分考虑业务场景,防止因为业务场景考虑不全面导致数据出现问题的现象,其次考虑数据状态对应主数据的业务场景,常见的有数据新增、变更、归档等,最后再进行逐个字段的测试。系统验收我们可以根据之前定的里程碑节点进行,明确达到里程碑的条件,并得到双方一致正式认可,我方提供项目验收单甲方确认签字对项目进行验收。项目交接至甲方运维人员,交付对应的系统使用手册、维护手册等。对于任何一个项目,总有做不完的地方,就算全部做完了,也不可能做到完美,而且更不可能做到客户的百分百认可,项目的验收不是说项目完全完成之后才提出而是项目到了验收的阶段,逐步引导客户,让客户具有验收意识。在项目验收时需要提供相关文档,如:需求规格说明书、技术标准规范及开发规范、系统设计规格说明书、所有项目管理过程文档(周报、会议纪要、需求变更等)、测试手册、测试报告、使用手册、维护手册;项目源码、测试环境、正式环境等。主数据管理使得企业能够集中管理数据,在分散的业务系统间保证了主数据的完整性、一致性,加强主数据的规范性。从信息建设的角度来讲,主数据管理能加强信息化结构的灵活性,构建整个企业内的数据管理基础和相应标准规范,并且能够灵活地适应企业业务需求的变化。通过数据管控体系和数据运维体系咨询服务,对组织架构、运营模式、管控流程、角色与职责进行明晰的定义。通过标准业务流程驱动,构建企业信息基础数据集成和共享平台,实现企业数据层面的战略规划管理。支持集团化多组织结构的复杂管理层级,能够构建在多组织结构上的应用系统,兼顾集团公司整体管理和下属企业作业流程之间的平衡。构建通用的、方便的、集中处理的数据总线,实现一致性的企业数据视图,大大降低数据交互访问的复杂性。基于面向服务架构的标准化数据服务,实现访问的透明化。数据自动化服务实现了统一的业务访问标准,主动分发服务保证了相关业务目标系统数据的变更同步性。通过数据总线,以灵活、可持续的方式支持任何面向业务的规则集合,保证数据的唯一和规范,大幅降低数据的集成和共享成本。应用数据标准模型和多重关联校验规则,对前端数据输入源头实现可靠的控制,有效降低人为因素所产生的数据问题,提高数据应用质量。基于标准的数据管理模型,实现基于数据平台的规则整合、统一定义和发布等事务的集中处理。通过数据的审计支持,来保证数据变化经过严格的审批;通过数据管理的持续优化和绩效改进,提升数据资产的管理成熟度。由此实现主数据申请、校验、审核、发布、维护、变更、注销等全生命周期的业务管理,实时跟踪和掌控数据的变化,建立数据的动态历史库,保证数据资产管理的持续优化和绩效改进。通过集中的主数据管理平台,为所有信息的交互和集成提供统一的编码数据。在异构系统之间协同业务处理的每个阶段,编码信息都是一致的,降低信息核对的成本。通过主数据管理和集成,保证信息来源的唯一性和正确性,为决策支持和数据仓库系统提供准确的数据源,避免因为基础数据的多样导致信息核对、汇总、统计的失误和错误。数据标准的应用提高了沟通的有效性,节约异构系统之间的交互成本,提升信息化的高端收益水平。数字化时代,数据驱动逐渐成为企业生存发展的必备能力,从业务探索到业务创新,数据分析及挖掘在企业中产生的“蝴蝶效应”不容小觑。如何从企业的多个业务系统中整合最核心、最需共享的主数据则是企业数据管理的根本所在。主数据治理作为数据治理中最为基础的一环,是企业获得一个完整、可信的数据视图的必经途径。主数据的应用与数据质量是相辅相成、相互推动的关系。主数据体系的构建和执行是提升企业数据管理与应用水平,保障可靠数据质量的关键举措。企业应该着眼于建立行之有效的主数据体系,挖掘主数据的潜力,有效提升主数据的质量,进而充分体现数据资产在企业中的核心价值。