一文读懂大数据仓库

大数据研习社 2020-11-26

375

长按二维码关注

大数据领域必关注的公众号

By大数据研习社

概要：大数据仓库已经成为大型互联网公司的标配，它能为企业决策提供数据支持。基于大数据仓库对数据进行分析，能够助力企业改进业务流程、控制成本、提高产品质量。

关键词：数据库、数据仓库、大数据仓库

1.数据库

数据库（Database）是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。

常用的数据库有mysql、oracle等

数据库是长期存储在计算机内、有组织的、可共享的数据集合。数据库中的数据指的是以一定的数据模型组织、描述和存储在一起、具有尽可能小的冗余度、较高的数据独立性和易扩展性的特点并可在一定范围内为多个用户共享。

2.数据仓库

数据仓库是面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。

★ 面向主题：在较高层次上将企业信息系统的数据综合归并进行分析利用的抽象的概念。每个主题基本上对应一个相应的分析领域。

★ 集成的：企业级数据，同时数据要保持一致性、完整性、有效性、精确性。

★ 稳定的：从某个时间段来看是保持不变的，没有更新操作、删除操作，以查询分析为主。

★ 变化的：反应历史变化。

★ 总结：数据仓库是实现集成、稳定、反应历史变化有组织有结构的存储数据的集合。

3.数据仓库VS数据库

面向业务的数据库常称作OLTP，面向分析的数据仓库亦成为OLAP。

4.数据仓库的来龙去脉

数据仓库概念最早可追溯到20世纪70年代，希望提供一种架构将业务处理系统和分析处理分为不同的层次。

20世纪80年代，建立TA2(Technical Architecture2)规范，该架构明确定义了分析系统的四个组成部分：数据获取、数据访问、目录、用户服务。

1988年， IBM第一次提出信息仓库的概念：一个结构化的环境，能支持最终用户管理其全部的业务，并支持信息技术部门保证数据质量；抽象出基本组件：数据抽取、转换、有效性验证、加载、 cube开发等，基本明确了数据仓库的基本原理、框架结构以及分析系统的主要原则。

（1）Bill Inmon数仓架构

1991年， Bill Inmon出版《Building the Data Warehouse 》提出了更具体的数据仓库原则：

● 数据仓库是面向主题的

● 集成的

● 包含历史的

● 不可更新的

● 面向决策支持的

● 面向全企业的

● 最明细的数据存储

● 数据快照式的数据获取

尽管有些理论目前仍有争议，但凭借此书获得“数据仓库之父”的殊荣。

Bill Inmon主张自上而下的建设企业数据仓库，认为数据仓库是一个整体的商业智能系统的一部分。一家企业只有一个数据仓库，数据集市的信息来源出自数据仓库，在数据仓库中，信息存储符合第三范式，其大致架构如下图所示。

Bill Inmon观点：认为数据集市的信息来源出自数据仓库。

（2）Ralph Kimball数仓架构

Ralph Kimball出版《 The Data Warehouse Toolkit》，其主张自下而上的建立数据仓库，极力推崇建立数据集市，认为数据仓库是企业内所有数据集市的集合，信息总是被存储在多维模型当中，其架构如下图所示。

Ralph Kimball观点：认为数据仓库是企业内所有数据集市的集合。

（3）Bill Inmon新数仓架构

前面两种思路和观点在实际的操作中，都很难成功的完成项目交付，直至最终Bill Inmon提出了新的BI架构CIF(Corporation information factory)把数据集市包含了进来。CIF的核心是将数仓架构划分为不同的层次以满足不同场景的需求，比如常见的ODS、 DW、 DM等，每层根据实际场景采用不同的建设方案，该思路也是目前数据仓库建设的架构指南，但自上而下还是自下而上的进行数据仓库建设，并未统一。