暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

数据治理可以解决产生垃圾数据的三大根源

erwin数据建模与治理 2023-02-05
1060

在现代数据驱动的业务中,组织必须了解垃圾数据产生的原因以及如何最好地解决它们。数据彻底改变了组织的运作方式,从客户关系到战略决策以及两者之间的一切。随着对自动化和人工智能的日益重视,对数据/数字信任的需求也随之增加。即使是组织数据中的小错误也会引起巨大的麻烦,因为不准确之处不仅仅涉及一个损坏的数据单元。

不准确或“垃圾”的数据也会影响到与其他数据单元的关系,使业务数据相关上下文难以或不可能确定。例如,数据单元是否根据其敏感性进行标记[即,受《通用数据保护条例》(GDPR)约束的个人可识别信息],以及数据所有权和血缘是否可识别(即,谁有权访问,数据源自何处)?

依赖不准确的数据将阻碍决策,降低生产力,并产生不好的结果。鉴于这些风险,组织必须提高其数据的完整性。但如何做到呢?

集成数据治理

现代的数据驱动组织本质上是数据生产线。和物理生产线一样,它们的相关系统和流程必须平稳运行,才能产生预期的结果。健全的数据治理提供了从源头解决数据质量问题的框架,确保记录和存储的任何数据都正确、安全且符合组织要求。但它需要整合所有数据学科。

通过将数据治理与企业架构相集成,企业可以在其与企业战略的关联范围内定义应用程序功能和相互依赖性,以确定技术投资的优先级,从而使其与业务目标和战略保持一致,从而产生所需的结果。业务流程和分析组件使组织能够清晰地定义、映射和分析工作流,并构建模型以推动流程改进,以及识别易受安全性、合规性或其他风险影响的业务实践,以及最需要控制以减轻风险的地方。

数据建模仍然是设计和部署具有高质量数据源的新关系数据库并支持应用程序开发的最佳方式。能够经济高效地从“任何地方” 发现、可视化和分析 “任何数据”,是大规模数据集成、主数据管理、大数据和商业智能/分析的基础,能够从单一设计中合成、标准化和存储数据源,并在项目中重用工件。

让我们来看看产生垃圾数据的一些主要原因,以及数据治理如何帮助解决这些问题…

垃圾数据的原因:数据输入

“垃圾输入,垃圾输出”的概念解释了数据不准确的最常见原因:数据输入错误。虽然这个概念很容易理解,但完全消除错误是不可行的,因此组织需要标准和系统来限制其损害程度。

使用正确的数据治理方法,组织可以确保正确的人员不会被排除在数据编目过程之外,从而应用正确的上下文关联内容。此外,您还可以确保关键字段不为空,以便尽可能多地使用上下文关联内容记录数据。

通过上面讨论的业务流程集成,您还将拥有一个元数据存储库。

所有这些都确保了敏感数据不会泄露。

垃圾数据的原因:数据迁移

数据迁移是导致垃圾数据的另一个关键原因。现代组织经常拥有大量数据系统,这些数据系统处理来自大量不同来源的数据,在数据从工具到工具、从系统到系统的传输过程中,为潜在问题创造了一个大熔炉。

解决方案是通过由数据治理主导的集中式元数据存储库引入预定的准确性标准。从本质上讲,元数据描述了关于数据的数据,确保无论数据与管道的关系如何,它仍然具有需要破译、分析和战略性使用的必要上下文内容。

随着GDPR的实施,使用不准确数据的潜在后果变得更加严重。一个简单的标记并随后错误地存储个人识别信息的案例可能会导致严重违反合规性并导致巨额罚款。

此类罚款必须与任何公关影响产生的成本一并考虑。

垃圾数据的原因:数据集成

数据源、类型和存储的激增增加了将数据组合成有意义、有价值的信息的挑战。根据数据库趋势和应用(DBTA)的数据,尽管公司正在大量投资于增加可供其使用的数据量的举措,但大多数信息工作者正在花费更多的时间来查找所需的数据,而不是将其投入工作中使用。

对更快、更智能的数据集成功能的需求正在增长。同时,为了实现业务价值,人们需要使用他们可以信任的信息来采取行动,因此平衡治理至关重要,尤其是在新法规下。

组织通常在管理项目、需求、设计、开发、测试、部署、发布等的单个软件开发工具上投入大量资金。缺乏互操作性的工具通常会导致繁琐的手动过程和大量的时间投入,以在这些不同的工具之间同步数据或过程。

数据集成将来自多个不同来源的数据组合到一个统一的视图中,使其对访问它的人更具可操作性和价值。

获取数据治理“Data Intelligence”

如果将上述集成数据治理隔离在IT内部,而没有其他利益相关者、日常数据用户(从销售和客户服务到高管)的投入,则无法实现上述集成数据管理的好处。每个数据用户都有数据治理的角色和责任,以确保数据单元具有上下文关联,这意味着数据单元被正确标记、编目和保护,以便能够正确分析和使用。换句话说,数据是可信的。

一旦组织了解到IT和业务部门都对数据负责,它就可以制定全面的数据治理,能够:

  • 接触过程中的每个利益相关者

  • 提供了解和管理可信数据资产的平台

  • 无论数据位于何处,都能从数据中获得最大利益,同时将风险降至最低

  • 帮助用户了解对企业中特定数据元素所做更改的影响


为了降低不良数据的风险并解决其原因,实现更大的组织目标,组织必须使数据治理成为每个人的业务。

文章转载自erwin数据建模与治理,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论