漫谈 | 大牛带你从0到1构建数据仓库实战

大数据学习与分享 2020-04-07

876

本文从数仓架构之流派之争，数仓建设之三步调研，划分主题域和总线矩阵，数仓架构之美，数据治理和数据质量等全局展开。

数据仓库是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。

Inmon：数据仓库之父，中央集权的战略家！

Kimball：数据仓库大师，分而治之的战术家！践行家！

秦始皇：在中央实行三公九卿，地方废分封、立郡县，同时书同文，车同轨，统一度量衡。

数仓建设：整体架构分4层12个主题，逆规范化、维度建模，同时统一模型规范，开发规范，数据类型等。。。

类比一下，就会发现：历史总是惊奇的相似！

一句话总结数仓建设：通过三步调研（业务调研、需求调研、数据调研），划分主题域，确定主题。然后构建总线矩阵，维度建模（星型模型、四步建模）。设计数仓分层架构（ods-dwd-dws-ads），定制规范（命名规范、模型规范、开发规范、流程规范）。数据治理（数据质量，数据安全，元数据管理）。开工ETL/BI，迭代开发。

* * 开发团队必须严格的按照这个体系结构来进行数据集市的迭代开发。

推荐文章：

有赞数据仓库实践之路

大数据平台架构设计探究

海量数据实时分析服务技术架构演进

关于一些技术点的随笔记录（二）
Hive Join优化
JVM垃圾回收器、内存分配与回收策略
Kafka作为消息系统的系统补充

文章转载自大数据学习与分享，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

评论