暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

当我们谈到数据治理时,其实是在谈什么?

基础技术研究 2024-09-30
144




点击蓝字 关注我们





引言

技术攀“高”、产业向“新”,数据已经成为重要的新型生产要素。然而,仅仅拥有数据并不意味着拥有其价值,只有通过有效的数据治理(Data Governance),才能持续产生高质量数据,从而真正释放数据的潜力。那么,当我们谈到数据治理时,其实是在谈什么呢?本文将从以下几个方面进行阐述。


01

What - 什么是数据治理

定义

数据治理并不是一个新概念,国内外已有众多机构专注于其理论和实践研究,推动了相关理论和技术的发展。其中,国际数据管理协会(DAMA)将其定义为在管理数据资产过程中行使权力和管控,包括计划、监控和实施。通俗地讲,所有旨在提高数据质量的技术、业务和管理活动,均属于数据治理的范畴。数据治理的最终目标是提升数据利用率和数据价值,通过有效的数据资源管控手段,实现数据的看得见、找得到、管得住、用得好。

数据资产

从上述定义可见,数据治理并非仅仅针对“数据”,而是聚焦于“数据资产”的管理。从财政部印发的《关于加强数据资产管理的指导意见》可以看出,何为数据资产?即由个人或企业拥有或控制的,能为企业带来未来经济利益的,以物理或电子方式记录的数据资源。因此,数据治理的对象应为关键的数据资源,即关乎企业商业利益的数据资源。

数据治理与数据管理的区别

关于数据治理与数据管理之间的区别,有多种看法。有些观点认为数据治理包含于数据管理之中,后者的范围更广;另一些观点则认为数据治理高于数据管理,是企业顶层策略。从DAMA-DMBOK2一书来看,数据管理确实包含数据治理。这表明数据管理的范围比数据治理更为广泛,其可以定义为收集、处理、保护和存储数据的实践,并将其用于制定战略决策以改善业务成果。

02

Why - 数据治理的重要性

根据Gartner的数据显示,到2025年,预计有80%的企业因未能采用现代数据治理方法而无法有效地扩展其数字业务。麻省理工学院在2023年的调研中发现,45%的首席数据官将数据治理视为首要任务。
过去,数据治理常被误解为一种限制措施,旨在防止数据泄漏和滥用,然而,这种误解反而导致了数据孤岛的出现。不良的数据治理还可能对监管合规构成障碍,在全球数据隐私法规日益严格的背景下,若企业未能通过统一的数据定义和标准格式提升数据一致性,将面临合规挑战,进而影响其业务运营。因此,构建高效的数据治理体系对于确保数据质量、促进创新、强化合规以及支持企业整体发展具有不可估量的价值。

03

Value - 数据治理的价值

随着大数据的发展,各行各业都面临越来越庞大且复杂的数据,这些数据如果不能有效管理起来,不但不能成为企业的资产,反而可能成为拖累企业的“包袱”。数据治理是有效管理企业数据的重要举措,是实现数字化转型的必经之路,对提升企业业务运营效率和创新企业商业模式具有重要意义。以下列举了其部分价值:

改善数据质量:数据治理核心在于提升数据质量,高质量数据不仅是数据分析的基石,也直接关联到产品和服务的品质提升,影响品牌信誉。

增强数据安全:通过敏感数据识别、加密、脱敏及合规使用控制等措施,数据治理构建了一套全方位的数据安全防护体系,确保数据安全和合规使用。

降低运营成本:通过自动化数据环境建设和标准化数据定义,显著减少人工成本和沟通成本,有效削减IT和业务运营的总体开支。例如,通过消除信息孤岛导致的数据冗余,企业能够减少不必要的硬件采购和维护成本。

提升处理效率:高质量的数据环境与高效的数据服务促使企业内部数据获取变得快速便捷,减少跨部门协调时间,显著提升日常运营效率。

赋能管理决策:数据治理确保了数据分析与预测的准确性,为管理层提供可靠的数据支持,优化决策过程,促进业务发展和管理创新,最终提升客户体验和企业竞争力。

控制数据风险:通过建立知识图谱等高级数据分析服务,数据治理增强了企业在供应链、投融资等关键领域的风险控制能力,有助于应对外部公共风险。

04

Challenge - 数据治理的挑战

尽管数据治理的好处显而易见,但要确保其计划成功仍需克服诸多障碍。以下是一些主要挑战:

组织结构与观念转变:有效的业务转型需要明确的角色与责任,以及变革支持者的引导。企业应改变对数据管理的看法,将其视为重要任务而非低级工作。

资源限制:数据治理需要投入大量的人力、财力和时间等资源。企业应合理规划资源分配,确保数据治理工作的顺利推进。

与业务计划的结合:很多企业倾向于直接强调数据治理的价值,关注具体问题的解决方案,而忽视了数据治理应作为支撑业务目标的工具。

避免狭隘定义:这意味着将治理计划局限于特定业务领域或功能,而缺乏跨领域的视野。需建立全面的数据治理框架,而不仅仅依赖一两个功能(如数据目录)。

数据激增问题:随着时间推移,企业面临的数据激增问题愈加严重。新数据的持续涌入往往杂乱无序,给系统和数据库带来了巨大压力。


05

Key - 数据治理关键要素分析

数据治理框架:构建全方位的数据治理体系,精确界定数据管理的组织架构、角色分工、职责界定、政策导向及操作流程,确保数据管理的系统性与高效性。

数据分类与分级:依据数据的敏感性、重要性及价值等多维度标准,实施精细化分类与分级管理策略,旨在定制化部署高效且有针对性的安全防护措施。

数据质量管理:推行全方位的数据质量管理机制,涵盖数据清洗、严格校验与标准化处理,以保障数据的精准无误与高度一致性。

数据安全管理:利用先进的安全技术和措施,确保数据的机密性、完整性和可用性,以防止数据泄露和未经授权的访问。

数据合规性管理:建立合规监控机制,定期审查数据处理活动,以确保遵循法律法规,并制定应急预案以应对潜在的数据泄露事件。

06

Implement - 数据治理的引领与执行

构建以业务为核心的数据治理体系需要跨部门的紧密协作与共同努力。作为企业战略层面的关键策略,数据治理要求高层领导不仅积极参与战略制定,还要确保其有效执行。成功实施数据治理依赖于各级领导、核心业务人员和信息技术团队的共同关注与合作。在大多数企业中,数据治理流程涉及不同角色的人员:

执行发起人:了解公司路线图上的众多业务计划,帮助确定数据治理支持的优先事项。

数据所有者:负责制定关于数据的政策,包括访问权限的管理、法规的解释与应用,以及关键术语的定义。

数据管理员:来自业务部门,日常参与项目细节,能够识别可能对业务计划带来挑战的数据问题。

数据工程师:通常隶属于IT部门,他们提供工具以保护数据、管理数据质量、整合多来源数据,并确保获取准确的数据。

通过明确各个角色的职责与协作方式,企业能够更有效地推动数据治理的实施,从而实现更好的业务决策与合规性。

07

Tool - 工具和方法

数据治理本质上关乎企业行为,虽然无法完全依赖技术解决问题,但合适的工具可以为整个过程提供重要支持。在不同系统之间进行数据集成和交换时,技术难度往往不容忽视。因此,企业应积极采用先进的数据集成技术和工具,如ETL(提取、转换、加载)工具、API管理平台和数据虚拟化技术,以实现数据的无缝对接和共享。
数据质量管理工具也不可或缺,它们可以帮助企业监控和提升数据的准确性和一致性。同时,数据治理框架下的元数据管理工具能够促进数据的可发现性和可理解性,为决策者提供有价值的洞察。

此外,企业还应考虑实施数据治理平台,整合数据目录、访问控制和合规性审查等功能,形成一个全面的治理生态系统,以确保数据在各个环节的合规性和安全性。


08

Case - 行业案例

金融业作为数据密集型行业,在经营过程中天然会采集、存储、加工、使用大量数据。近年来,在监管机构的引导下,金融机构在数据治理与应用领域不断前行,在制度体系构建、组织架构保障、系统平台建设等方面取得了显著成果,并初步具备数据资产管理能力。对于银行而言,数据管理历程的演进映射出银行经营理念和经营模式的转变,目前“数据治理”的可行性已达到较高水平,在降本增效和风险管理方面的业务价值开始显现。
案例一:中国工商银行数据治理实践

随着数据规模不断增大、数据类型不断丰富,工商银行依据本行数据的自身特点、规模、复杂程度和质量状况,从源头进行元数据管理,并在此基础上搭建数据资产管理系统,共同支撑工商银行数据治理体系,实现数据资产价值最大化。

案例二:建设银行在数据治理方面的实践
建设银行经历了从手工记账到数据资产化的四个阶段,不断提升数据管理能力,形成了“建、管、用”三位一体的数据资源管理体系。当前,建设银行通过严格数据标准、拓宽数据范围、统一数据口径、优化数据质量和保障数据安全等措施,提升数据资产管理水平。未来,随着数据资源入表政策的实施,建设银行将进一步提升数据管理能力,量化数据价值,拓展业务模式,并强化数据安全和数据质量管理,以更好地适应数字经济时代的发展需求。
案例三:邮储银行构建数据资产管理体系的探索
通过实施数据治理、溯源和运营一体化的实践,邮储银行显著提升了数据资产的质量与安全性,优化了用户体验,并激发了数据服务的效能。此外,邮储银行尤其聚焦于重点业务领域,通过数据驱动业务创新,取得了显著成效。例如,在客户服务方面,通过精准的数据分析,提升了客户满意度和忠诚度;在风险管理中,借助大数据技术,有效降低了信贷风险。未来,随着数据要素价值的不断凸显,邮储银行将继续深化数据资产管理,探索数据资产的计量与定价方法。

案例四:华夏银行数据治理探索与实践

成立数据信息部,形成“三部一室”。据了解,数据管理能力是华夏银行组织架构调整关注的主要方面之一。
数据管理能力布设上,华夏银行成立数据信息部,夯实“金字塔”式数据管理组织架构,丰富全生命周期数据管理职能,统筹推进全行数据治理工作。此外,其推进数据标准体系建设,搭建项目全生命周期落标管控机制。统一管理行内主要应用系统数据字典,实现重要系统全覆盖。建立数据资产到数据应用的机制与流程。

案例五:浦发银行数据治理探索与实践

浦发银行数据治理历程涵盖两大阶段:一是构建数据治理体系,旨在提升数据质量与安全性;二是深化数据资产管理体系,力求数据资产的保值增值。初期,通过全领域治理体系、全链路质量管理、多元治理文化及智能管理平台,奠定坚实的数据管理基础。随着数据资产化趋势,浦发银行转而聚焦价值创造,结合商业银行特性构建数据资产价值评估体系,为数据流通与交易奠定基石。

案例六:恒丰银行数据治理探索与实践

恒丰银行在数据治理方面启动了“数芯工程”,旨在打造企业级数据资产管理和供给能力。“数芯工程”首要解决的关键问题是数据确责,只有解决数据确责,才能调动全行参与数据治理工作,而不是仅仅由科技部门或者数据部门来推进相关工作,并为未来数据资产入表打下基础。
目前恒丰银行已初步完成数据确责,形成数据资产配置的基本原则,并在此过程中初步搭建了数据治理的制度体系、人员队伍。

09

总结与展望

在当前信息驱动的环境中,数据是企业不可或缺的重要资产。“无治理,不数据 ”这一理念强调了高效数据治理的重要性,它不仅决定了数据的质量与可信度,更直接影响到企业的决策能力和创新潜力。没有完善的数据治理框架,数据将无法发挥其应有的价值。
未来,随着数据量的持续增长和数据应用场景的不断扩展,数据治理将变得更加复杂和重要。企业需要不断优化和完善其数据治理策略,以应对新兴的挑战和机遇。我们将持续关注数据治理领域的最新动态,不断探索和学习新的理念与实践,也期待获取更多的见解和经验。

参考资料

[1]《DAMA数据管理知识体系指南(第2版)》

[2] 财政部《关于加强数据资产管理的指导意见》

[3] Gartner《数据分析与治理路线图》

[4]  DAMA中国https://www.dama.org.cn
[5]  沙丘社区






文章转载自基础技术研究,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论