数仓开发到底在开发什么？

实时数仓Flink 2021-08-10

3030

写在前面：

数据仓库是干什么的？我们先从全局视角☞大数据职业发展方向看一下，如图：

图片来源：大数据职业发展方向.xmind

数据仓库开发是开发什么呢？我先说3个：

数仓开发
平台开发
报表开发
...

仓库开发，被熟知的数仓分层模型：

ODS层->明细层->聚合层->应用层

图片来源：数据仓库分层模型

分层模型，就好比学校的不同年级。当学生被送到学校之后，要经过低年级到高年级的学习，每个年级学习的内容和目标都不一样，而最终的目的就是让学生离开学校之后能做一个有用的人。同样的，数据进入到数仓之后，要经过不同层级的加工，每层都有各自的职责和目标，最终目的是让从数仓产出的数据能有效的为人所用。eg：数据仓库分层模型

Kimball Data Warehouse Architecture

不同的公司，对分层的代号不一样，层级也不一样。有的会在ODS层加一个数据缓冲层，用于解决数据漂移，有的会在轻度汇总层后面加一个宽表层，提供按各种维度汇总的各种指标。有的在明细层出宽表，提供各种维度的明细数据。数据中台与数据治理方案.PPT

仓库开发

平台开发

报表开发

图片来源：大数据可视化BI工具，通幽洞微

我期待的报表开发，DPM数据产品经理承担数仓开发的一部分沟通和协同工作。

写在最后

作为数据仓库的冰山一角，本篇简单介绍了下数仓的工作：仓库开发、平台开发和报表开发。将数仓与学校进行类比，也是希望能让工作更有趣一些。不足之处，请批评指正。文末戳“阅读原文”回复：数仓，可领取学习资料！

感兴趣实时数仓的：☞实时数仓建设思考与方案记录

推荐阅读：

从 0 到 1 搭建业务数据监控平台

数据治理平台系统 v2.0

流批一体Hudi近实时数仓实践



大数据开发一枚，欢迎大家关注呀！

文章转载自实时数仓Flink，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

评论