暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Datablau v3.5 版本发布

Datablau 2018-07-23
313

随着数据治理在发现数据价值和企业管理中的应用,企业对数据管理产品的要求越来越高。当前主要的问题是数据治理工具的不能很好的渗入企业常规生产中,帮助各部门提高企业实际效率,不能非常显示的发挥出数据治理的价值,这是数据治理工作最痛的点之一。另一方面,实施数据治理也面临工作枯燥繁琐,实施成本高的痛点。


Datablau始终具有让数据治理工作落地发挥价值的使命感,让数据治理团队的实施工作变得轻松,并且感受到价值感和成就感,这一直是我们产品研发致力于的目标。那么如何达到这些目标呢?随着Datablau 3.5版本的发布,让我来和大家汇报一下我们的最新进展。


Datablau 3.5版本主要有如下亮点功能:


新版本上线,数据变更报告一键发送下游

在整个数据治理的实施过程中,梳理各系统的数据流动关系是对企业数据治理的一项重要内容,这个过程通常叫数据血缘和影响追朔。坦率的说血缘的梳理是比较重的一项工作,需要付出很大的人力物力,然而现实中我见到的案例中,数据血缘的查看率都是很低的。这里边我认为其中一个原因是需要变更的人是开发部门,如果变更依赖于人工录入,使得理论可行的事情变得实际不可行。


Datablau DDM + DAM通过自动化解决这个问题。DDM是一款模型设计工具,可以自动比较发现数据版本发布时,与上一个发布版本的差异报告,这时通过于DAM的血缘系统的整合,一键即可查出下游影响,并发布变更邮件。


我们看到此功能秉承DataOps理念,大大减少了使用成本,提高团队协作能力,缩短了上下游同步发布的周期。其操作步骤如下:


1.自动发现变更

先找到基线版本,然后打开当前版本模型,比较工具会自动比较出变更部分。


 2.一键发现影响分析

然后点击影响分析,工具会自动查询数据血缘系统,将每一个字段的后续影响全部列出。通过右键菜单一键发送通知邮件给影响到的系统负责人。


数据库版本和基线差异增量自动发现

在我们企业里有很多系统,这些系统的发布更新周期各不相同,同时,它们的部署模式也不同,对于一些大型组织,会有一套系统部署若干套的情况。所以如果能自动监控跟踪数据库变更记录是很有帮助的。


Datablau DAM提供了两种维度的变更发现和监管。

  • 一是纵向自我变化,就是发现数据库的CRUD的历史。

  • 二是发现与基线的变更记录,一个系统上线的基线版本后,各个部署与基线之间的差异,可以管理各个分中心对基线版本的二次开发所造成的结构变化,评估新版本的上线难度。


 变更报告可以看到变化的总量和细节


分布式数据质量检测引擎

新版本提供了一个成熟的治理管理功能,从质量业务规则到技术规则,再到检测任务和修复任务,管理了企业大部分的质量问题活动。


对于企业的大数据量的数据集,会有一个质量检测的性能问题,我们创新的开发了分布式数据质量检测引擎,它提供了实时热部署Agent的能力,将大的检测任务平衡到网络的其他节点上去,确保质量任务负载和按时完成。


同时,对于质量检测能力上,也提供了可编程级的检测能力,可以对跨库,跨表,跨数据结构的数据,进行更高级更灵活的质量核检,而这无需像其他软件一下重新打包,只需直接编写脚本。


DAM平台的质量控制平台进入到国际领先水平。


数据架构和概念模型的支持

  • 新版本支持了企业级逻辑模型,增强了Subtype类型的设计能力,支持了不同类型的模型转换,比如可以支持从MySQL到Hive的转换,这对于大数据团队批量产生ODS和ETL的代码是很有帮助的。

  • 新版本支持导入GBase, PostgreSQL数据库,支持导入Sparx EA和Arise等数据架构软件设计的模型。对于有志于数据治理顶层设计和企业级架构的同事,这是一个可以直接落地数据架构到物理数据的功能。

 

上文是3.5版本的部分重要功能,您可以联系我们获得全部产品的功能信息。



总结

通过使用我们产品,可以将数据治理的价值向后延伸到开发团队开发设计,向前推进到业务部门使用分析,真正起到改善企业数据质量,提高数据使用能力的作用。同时,通过对数据架构的梳理,可以了解企业级的全业务模型,了解各系统的数据架构和主要业务,最终为职业走向数据治理专家奠定扎实的基础。目前数据治理专家也是各大企业急需的人才,Datablau将为有志于此的数据治理人提供一条可行路径。


———— / END / ————

感谢阅读,欢迎留下评论及个人见解!


原创文章作者

朱金宝  CTO

前ERwin总架构师,10年ERwin研发经验. 负责产品全生命周期的发布,丰富产品发布和架构设计经验,多个大数据建模专利所有者和技术文章作者。

延伸阅读

数据库建模的趋势

数据模型——数据仓库的灵魂

数据建模和数据治理的关系

理论走向实际,让数据标准落地

数据库逆向工程案例研究

数据湖和数据仓库:相互排斥还是完美伙伴?


文章转载自Datablau,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论