数据仓库与数据湖

哈啰，各位小伙伴们，这里是每天进步一点点的花栗鼠小K

本期小K依旧带大家探索数据领域，上期我们聊了聊多维数据库，这期呢，打算沿着这个路子走，更多地去介绍一些理论领域的内容。本期咱们聊两个东西：数据仓库、数据湖。

什么是数据仓库

数据库的概念，大家应该都烂熟于心啦。现在随便一个业务系统，都或多或少用到数据库（Oracle
、MySQL
、SQL server
等）。

数据库主要用于「事务处理」，特别强调每秒能干多少事儿：QPS
（每秒查询数）、TPS
（每秒事务数）、IOPS
（每秒读写数）等等。

但要是说起数据仓库
，吃瓜群众还真很少接触到。

通常是业务发展到一定规模后，业务分析师、CIO、决策者们，希望从大量的应用系统、业务数据中，进行关联分析，从数据中“要决策”。

可是，数据库“脑容量不足”，擅长事务性
工作，不擅长分析型
的工作，于是就产生了数据仓库
。

数据仓库
( Data Warehouse
)，也称为企业数据仓库，它是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合存储系统。

它将来自不同来源的结构化数据聚合起来，用于业务智能领域的比较和分析。它包含多种数据的存储库，并且是高度建模的。

数据仓库系统的作用能实现跨业务条线、跨系统的数据整合，为管理分析和业务决策提供统一的数据支持。数据仓库能从根本上将运营数据转化成为高价值的可以获取的信息或知识，并且在恰当的时机以恰当的方式把恰当的信息传递给恰当的人。

其具体作用如下图：

数据仓库针对实时数据处理和非结构化数据处理能力较弱，以及在业务在预警预测等方面应用有一定的限制。

什么是数据湖

数据湖是一个存储企业的各种各样原始数据的大型仓库，其中的数据可供存取、处理、分析及传输。

可能有小伙伴产生这样的疑惑：数据库负责干事务处理
相关的事，数据仓库负责干 业务分析
相关的事，还有新兴的 HTAP
数据库既干事务又干分析，都已经这么内卷了，还要数据湖
来干个毛线？

HTAP
是由 Gartner
提出的 ，即混合事务 分析处理( Hybrid Transactional/Analytical Processing
）。HTAP
数据库能够在一份数据上同时支撑业务系统运行和 OLAP
场景，避免在传统架构中，在线与离线数据库之间大量的数据交互。

说白了，还是企业在持续发展，企业的数据也不断堆积，虽然“含金量”最高的数据都存在数据库和数仓里，支撑着企业的运转。但是，企业希望把生产经营中的所有相关数据，历史的、实时的，在线的、离线的、内部的、外部的，结构化的、非结构化的，都能完整保存下来，方便“沙中淘金”。

下面这个图就很形象：

数据湖的作用就是，挖个大坑，把各种数据一滚脑灌进去囤起来，而且要持续灌，持续囤。

数据湖的本质，是由“ 数据存储架构+数据处理工具
”组成的 解决方案
，而不是某个单一独立产品。

数据存储架构

要有足够的扩展性和可靠性，要满足企业能把所有原始数据都“囤”起来，存得下、存得久

数据处理工具

第一类工具

解决的问题是如何把数据“搬到”湖里，包括定义数据源、制定数据访问策略和安全策略，并移动数据、编制数据目录等等

第二类工具

从湖里的海量数据中淘金

二者区别

主要区别见下表

一张图可以简单概括:

总结

本文主要介绍了数据仓库和数据湖，比较概念化地介绍了两者的特点和差异。希望给大家对于数仓和数据湖的初步认识。同多维数据库一样，二者在教学阶段基本上不会遇见，但是在公司里却经常遇到，比如一些财务分析系统，所以希望这篇文章能对实际工作的家人们有帮助。

本期就到这了，这里是花栗鼠小K，下次有🌰，我再来，拜拜~~~

参考资料