快用云科阎志涛：现代数据栈中的数据建模

出品 | CSDN云原生

现代数据栈作为与数据分析相关的技术栈，具有云原生的特性，它与传统的数据平台相比较，降低了数据使用的技术门槛，也能满足用户日益扩大的数据需求。时下，现代数据栈也繁衍出越来越多的产品。

传统数据栈的数据，一般来源于公司或企业本身的数据库，而现代数据栈则是从各大SaaS中获取数据。现代数据技术栈通常是指构成云原生数据平台的一组技术，对比传统的数据平台，使用它们可以降低复杂度。现代数据技术栈具有以云端数仓为中心、易用设计、便宜且按使用收费的特点。

数据建模的核心逻辑是依据业务需求，分析师去理解和建模，然后工程师将模型生成出来，形成最终的数据结构。

数据模型按不同的应用层次分成三种类型：概念数据模型、逻辑数据模型、物理数据模型。整个数据建模的过程就是从概念模型到逻辑模型再到物理模型。

现代数据栈中的数据建模

数据使用的场景在转变，驱动的源头也发生了变化，产生了很多由项目驱动变成运营驱动的数据建模。实际上，传统的数据建模的过程，已经不适合现代的要求。

Dbt

• SQL代码版本控制(GitHub) ；
• 模型化SQL；
• 协作；
• SQL流调度；
• Jinja扩展；

• Matrics商店。

Dataform

Dataform是与Dbt类似的产品。

Dataform成立于2018年，在2020年被Google收购，随后，Dataform逐渐变成GCP（Google Cloud Platform）的一部分。

Datameer

Datameer成立于2009年,经历了公司转型，最终在云上找到了自己生存的位置。Datameer产品以Hadoop云供应商Altiscale和Bigstep为特色，将大数据分析环境简化为Hadoop平台之上的单一应用程序。

Datameer通过引入智能执行来消除复杂性。智能执行是一种检查数据集特征、分析任务和可用系统资源的技术，可以智能、动态地确定并为每个工作负载使用最合适的执行框架。此选择对最终用户完全透明，不需要IT协助或额外的硬件和软件。

QuickTable

QuickTable是快用云科团队做的产品，它的功能体现在五个方面。

• 无代码数据建模工具。QuickTable使用户只需通过简单的拖拽操作，即可交互式地构建数据模型。用户无需编写复杂的SQL和Python代码，建模结果即刻呈现。
• 电子表格状界面。QuickTable让用户可以使用类似电子表格的界面来访问、探索、清洗、建模和转换数据。
• 多数据库和数据仓库支持。QuickTable为本地文件、在线电子表格、主流数据仓库/数据湖、对象存储和API提供了丰富的连接器，用户可以快速轻松地访问数据。
• 跨团队协作支持。通过QuickTable，团队成员之间可以随时随地查看、评论和编辑数据模型。
• 自动文档支持。如果用户先建模，把文档自动生成，文档与建模实际上是一体的，这样更有利于整个企业内部的数据处理。

总结

总的来说，现代数据栈已经成为一个新的趋势，如今关于数据栈的讨论也越来越多。云的能力实际上给企业使用数据提供了很好的基础，由于SaaS本身就是在收集企业数据，现代数据栈技术上的产品能让企业低成本地完成数据驱动。

因此，在这样的趋势之下，所有传统的数据技术工具都在现代数据栈上重新被构建。从数据接入到数据建模到BI，很多传统的数据产品也在现代数据技术栈中被重新的构建。当数据建模的场景日益丰富，数据的来源更加繁杂，数据建模在场景当中变得越来越重要。

但数据建模的产品，离真正成熟还有一定的距离。需要让更多的用户在不同的场景当中使用，经历产品反复打磨的过程。相信未来在数据建模的领域，一定会有更多的优质工具产生，这值得我们共同去探索。

END

精准把握技术趋势，深度学习新技术、新实践

扫描图片二维码立即申请加入

— 推荐阅读 —
☞下秒数据李元佳：湖仓一体带来现代数据栈变革
☞关于eBPF与可观测性，你想知道的都在这里
☞云徙科技CTO李楠：技术和技术人，与数字化共同进化
☞网易数帆陈谔：低代码平台，应对企业应用开发复杂性的一剂良方
☞金融核心系统云原生转型的三个挑战、六个误区和四个步骤

一键三连 「分享」「点赞」「在看」
成就一亿技术人