今天我们继续现代数据技术栈的话题，我们接下来聊一下在现代数据技术栈中的一个组成部分 - Metrics Store，也就是指标存储，我们也可以管它叫指标引擎。
01
什么是指标存储
指标存储(Metrics store)是一个企业管理和存储自己企业的关键业务指标的中央存储。这个中央存储处于数据仓库和数据应用之间，让企业可以有一个公共的位置去组织和管理自己企业关键的业务指标。通过指标存储，企业的相关的数据驱动的业务组织可以有一个一致的指标数据来源，去构建自己的后续的报表，避免出现指标的冲突。如下图所示：
02
为什么需要指标存储？
从前面的描述可以看到，指标存储与在传统时代构建数据仓库的过程实际上是相似的，非常类似于数据仓库建设中的DWM，也就是Data Warehouse Middle这一层。那么在现代数据技术栈中，为什么需要指标存储这一层？它与传统数据仓库建设中的DWM又有什么区别呢？
在现代数据技术栈中，之所以引入指标存储这一层，核心原因是现代的企业使用数据的场景更多元。从上图可以看到，指标存储的下游消费者包含了企业内部系统、CRM、BI报表、日常运营支撑以及数据质量系统等等。数据驱动已经到了企业运营的各个方面。这个时候如果没有一个统一的指标存储，就会出现每个使用数据的下游系统都有自己的一套指标计算逻辑，最终造成大家在基于数据做决策的时候数据都不统一。
这种问题我在老东家构建我们自己公司的数据中台的时候就遇到过，而我们曾经服务过的某些消费客户也深深受到指标不一致的问题的困扰。而想要解决这个问题，就需要把企业的主要指标做统一计算并存储。
具体到传统数仓建设中的DWM层，则更多的是因为传统数仓时代计算能力跟不上，通过建设中间层，可以实现一些粒度的聚合，避免从最细节数据进行重复计算。虽然能起到现在指标存储所起的作用，但是核心的原因却不相同。主要是传统数据仓库建设的目标是给决策层用的报表，与现在使用数据的场景还有差别。
03
指标存储相关公司
在现代数据技术栈中，指标存储作为数据使用的一个环节，正处于高速发展期。相关的公司包括dbt, transform, metlo，EQL等等。其中dbt我们已经在海外数据转换工具独角兽 - dbt labs 中有过介绍。在完成了最新一轮超过2亿美金的融资之后，dbt宣布自己会构建metrics store这一层。从dbt所处的位置看，构建metrics store应该是一个必然的选择，毕竟在用户能够在自己的平台上进行SQL操作和管理的前提下，提供业务指标的加工调度和存储是一个顺手就能做的事情。接下来我们介绍另外的三个公司/产品transform，metlo和EQL。
Transform公司
公司名：Transform
公司官网: https://www.transform.co
公司所在地：旧金山
成立时间：2019年12月
创始人：Nick Handel, James Mayfield
融资历史：
2020年2月 种子轮 450万美金 Index Venture, Redpoint等
2021年1月 A轮融资2000万美金 Index Venture等
Transform公司号称是第一家在现代数据技术栈上做指标存储的公司。公司的产品为开源的指标流程引擎MetricFlow。
通过定义了一套metrics规范MQL-Metric Query Language，Transform的用户可以基于这套规范语言去定义和实现自己的metrics。Transform可以把对应的metrics定义翻译为兼容的数据仓库的SQL，从而避免了用户重复的指标的实现。这个思路跟我们目前做的数据转换语言抽象是一个逻辑，降低用户的重复开发工作量，通过工具来解决适配性问题。正如Transform的文档中所说的一样DRY(Don't repeat yourself)。
目前Transform的官网上并没有报价信息，只有Try for free的信息。想要试用，需要提供邮箱，联系人信息，以及运行的目标数据仓库信息等。由于有开源的MetricFlow，我猜测Transform也会采用Open core，但是云上提供服务来收费。具体的收费定价方式，估计现在还在用户测试阶段。
Metlo公司
公司名：Metlo
公司官网：https://www.metlo.com/
公司所在地：旧金山
成立时间：2021年6月
创始人：Shri Sukhani，Akshay Shekhawat
融资历史：
孵化器 12.5万美金 YC孵化器
相对于Transform公司，Metlo公司则是一个更为早期的公司。2021年6月份才成立，在YC孵化器中孵化。 两位创始人都有非常好的背景，其中Shri Sukhani在大学的时候就在Facebook做Intern，在20岁的时候大学毕业加入了Facebook。而Akshay则曾经在Uber工作。两个人在创立Metlo之前曾经做过一个面向C端的产品，在产品发布三个月的时间就达到了10万美金的ARR。
Metlo的官网界面基本上属于典型的2B的SaaS界面，由于比transform更早期，因此官网上没有报价信息，只有book demo的信息：
产品在2021年11月份发布，目前应该还是在友好客户测试中。从官网描述看，Metlo强调使用SQL定义metrics，提供流式的指标计算。
EQL
网站：https://metriql.com/
EQL是Liveramp公司开源的一个metrics store。技术上是利用dbt作为transformation层，因此深度的集成了dbt的能力。不过由于dbt也在发展自己的metrics store，不知道未来EQL会如何处理与dbt的关系。
04
总结
指标存储在现代数据技术栈中目前还处于相对早期的阶段，发展最好的transform也成立仅仅两年多的时间。不过相信随着企业使用数据的深入，以及现代数据技术栈的普及，指标存储作为现代数据技术栈中的一个重要环节，会有自己重要的价值。
