知识点 | 数据仓库中的 ods ,dw,dm分别是个啥？

先看一下数据中心的整体架构以及数据流向：

DB 是现有的数据来源，可以为mysql、SQLserver、文件日志等，为数据仓库提供数据来源的一般存在于现有的业务系统之中。
ETL的是 Extract-Transform-Load 的缩写，用来描述将数据从来源迁移到目标的几个过程：

1. Extract，数据抽取：把数据从数据源读出来。
2. Transform，数据转换：把原始数据转换成期望的格式和维度。
   如果用在数据仓库的场景下，Transform也包含数据清洗，清洗掉噪音数据。
3. Load 数据加载：把处理后的数据加载到目标处，比如数据仓库。
4. ODS(Operational Data Store) 操作性数据：是作为数据库到数据仓库的一种过渡，ODS的数据结构一般与数据来源保持一致，便于减少ETL的工作复杂性，ODS的数据周期一般比较短；也就是原始数据的保存区域，存储来自各业务系统（消息队列）的原始数据。如：电商网站的访问日志（埋点的时候是以JSON存储），物联网终端设备实时发送的数据等原始数据直接存储在数据仓库的ODS层；ODS的数据最终流入DW。
5. DW (Data Warehouse)数据仓库，是数据的归宿，这里保持这所有的从ODS到来的数据，并长期报错，而且这些数据不会被修改。
6. DM(Data Mart) 数据集市：为了特定的应用目的或应用范围，从数据仓库中独立出来的一部分数据，也可称为主题数据，面向应用。

【参考链接】
链接：https://www.jianshu.com/p/3e1386d6052e

文章结束

以下为个人公众号，欢迎扫码关注：