暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

数据管理之元数据篇

万物可述 2021-06-29
731


这是万物可述的第13篇原创文章




元数据


元数据的定义

元数据(Metadata)是关于数据的数据,对数据及信息资源的描述性信息。

元数据打通了源数据、数据仓库、数据应用,记录了数据从产生到消费的全过程。

元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态以及ETL的任务运行状态。


元数据的分类



元数据的价值



统一的元数据体系建设



元数据的应用

数据的真正价值在于数据驱动决策,通过数据指导运营。



元数据管理工具

1.Pentaho Metadata 不依托于某项BI产品,是一种第三方的元数据管理工具

2.像IBM、CA等公司都提供的专门工具,比如IBM收购Ascential得到的MetaStage,CA的DecisionBase

3.集成商也有自己的元数据管理工具:普元MetaCube、新炬网络元数据管理系统、石竹MetaOne等

4.Linkedin开源的WhereHows,ApacheAtlas、ClouderaNavigator Data Management

5.目前比较流行的数据中台产品,本身都包含了元数据管理。阿里的MaxCompute,网易的猛犸等


学习建议

•数据库技术的学习

•数据仓库理论知识

•多思考:

如果让你去开发元数据管理系统你怎么设计?你怎么去实现字段级别的元


数据管理?表级别的呢?等等




作者:王伟,一位对数据有追求的sqlboy

编辑:徐菲





据说中国有句古语叫「金无足赤,人无完人」,但是,如果谁真的想打起灯笼来到市面上寻找完人,最终令他感到的可能不是一种失望,而是一种意外:完人可能就是那些终日为「善」而奔走,而又在不知不觉中实现了「美」的「真」实不虚的普通人。

追求完美是正常而有缺憾的人性。

--尼采

文章转载自万物可述,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论