暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

数据地图的基本知识整理

729


作者:稀饭


本文1700字,数理内容较少,泛读需6分钟,精读需11分钟



1、数据地图的概念


数据地图是在元数据基础上提供的企业数据目录管理模块,涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。


2、数据查找过程中的困难点


1不容易找到想要的数据


企业的数据分散存储在上千个数据库、上百万张物理表中,已纳入架构、经过质量、安全有效管理的数据资产也会超过上万个,并且还在持续增长中。例如,用户需要从发货数据里对设备保修和维保进行区分,以便为判断哪类设备已过保(无法继续服务)提供准确依据,但生成和关联的交易系统有几十个,用户不知道应该从哪里获取这类数据,也不清楚获取的数据是否正确。


2无法理解数据的内容


企业往往会面对数据库物理层和业务层脱离的现状,数据的最终消费用户无法直接读懂物理层数据,无法确认数据是否能满足需求,只能寻求IT人员支持,经过大量转换和人工校验,才最终确认可消费的数据,而熟悉物理层结构的IT人员,并不是数据的最终消费者。例如,当需要盘点研发内部要货情况的时候,就需要从供应链系统获取研发内部的要货数据,但业务用户不了解该系统复杂的数据存储结构(涉及超过40个表、1000余个字段),也不清楚每个字段名称下所包含的业务的含义和规则。


3、数据地图提供服务的主要对象


1业务分析师


业务分析师是企业最大的数据消费群体,具有良好的业务背景,有些数据分析师本身就是业务人员,了解业务需求实质,理解业务含义,与利益相关者有良好的沟通。通过对数据的识别,借助数据分析工具,生成可供阅读的图表或者仪表板,使用分析结果识别问题,支撑决策。对数据可信度、业务含义、数据定位有强烈诉求。


2数据挖掘工程师


数据挖掘工程师是指能采用科学方法、运用数据挖掘工具对复杂异构的数字、符号、文字、网址、音频或视频等信息进行数字化重现与认识,并能进行新的数据洞察的人或专家。对业务含义、数据关系有强烈诉求。


3数据管家


公司数据管理体系的专业人员,负责协助数据Owner对数据信息架构进行管理,包括定义信息架构中的责任主体、密级/分类,为数据安全管理提供重要输入。通过信息架构设计,统一业务语言,明确管理责任,设定数据质量标准,拉通跨领域信息流,支撑运营和决策。对数据质量、信息架构、数据关系有强烈诉求。


4IT开发人员


主要为企业的数据仓库开发人员,通过对物理表进行定位、识别和ETL,创建满足业务分析师或者应用平台所需要的模型或维表。对数据定位、数据关系有强烈诉求。


4、数据地图的关键能力


1数据搜索


数据搜索可以提高用户的搜索准确度,使用户能快速理解搜索出来的数据内容,通过组合搜索、筛选分类,数据标签等持续提升用户体验。


2排序推荐


排序推荐能让用户更容易地找到高质量、可消费的数据资产,缩小搜索结果集范围,减少数据识别和判断的时间,最终目标是让用户实现所搜即所得的效果。排序推荐主要有两种:

① 被动响应式排序推荐。用户在前端无需操作,通过推荐排序逻辑对结果集进行处理,完全基于数据管理分类、用户行为分析等输入。优点是提升了用户的体验,无需操作即可以大概率定位到自己需要的数据资产;缺点是与用户之间缺乏交互,准确度因人而异,需要积累大量管理分类和用户行为的输入作为参考。

② 主动管理排序推荐。通过数据管理侧的分类和通用性的标签进行分类管理,用户在使用过程中可以通过分类标签对搜索结果集进行再次过滤和定位。优点是与用户有一定的交互,让用户在使用的时候可以主动管理;缺点是基于管理侧和通用性收敛上来的标签难以满足个性化的需求。


3数据样例


读懂数据是用户进行数据消费的基础,用户只有读懂数据,才可以准确判断数据的来源、质量、可信度等关键信息。除了可以通过提供数据资产的各类元数据信息来辅助用户读懂数据外,生产环境的实时数据对用户而言更有参考价值,因为生产环境直接采集的数据的内容,与用户可消费的数据内容是一致的。


4资产 / 用户画像


资产/用户画像通过标签化的手段来对资产和用户进行清晰地描绘,有助于数据搜索和推荐排序的不断优化,贴近用户真实需求。




广告区↓


互联网数据分析岗位求职备战




文章转载自稀饭居然不在家,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论