Snowflake生态总览
整个Snowflake生态被分为六个大的部分，总计100个合作方，分别是 36个Data Integration（数据融合）合作方、21个Business Intelligence (BI) 合作方、13个Machine Learning & Data Science（机器学习和数据科学）合作方、24个Security & Governance（安全和管理）合作方，9个SQL Development & Management（SQL开发和管理）合作方。其中Qlik、Tableau和SAP三家公司包含了两类合作方，分别是Data Integration和Business intelligence。
如果把数据比作石油，那么Snowflake就是储油中心，Amazon Cloud、Azuro Cloud、Google Cloud等就是大型石油码头，提供储存和运输的基础设施。Data Integration就是输油管，负责把各油田（公司）的油（数据）输送到Snowflake中进行存储，并进行粗加工；Business Intelligence就是把石油进行精炼的一个方向，类似炼化成汽油，直接燃烧使用；Machine Learning & Data Science是精炼的另外一个方向，类似基于石油的化工产品，需要运用许多的机器学习、深度学习以及各种算法模型来对数据的深层价值进行挖掘和利用；SQL Development也是精炼的一个方向，主要是按需加工，按照业务对数据的需求，定制化地进行SQL的开发和管理；Security & Governance则是对整个运输、存储、精炼环节进行监控管理，防止数据外泄或者监控某个流程的异常，保障数据流的通畅和安全。
生态中的Native Programmatic Interfaces主要是针对一些对数据库进行代码开发的本地语言工具，目前包含了主流的一些数据科学开发和数据库链接的开发语言工具。比如Python就是目前做数据科学开发的主力语言，JDBC则是连接数据库一款主流应用。
下面我将会针对上述围绕Snowflake的整个数据pipline的各个部分进行分别的分析。
Data Integration：生态的最核心部分
Snowflake上市之后，引发了云端大数据计算与应用方面的融资热潮。经过粗略统计，Data Integration部分近年累计融资超过44亿美金，DBT Labs、Fivetran、Matillion、Segment、Snaplogic、Trifacta、Workato、Heap估值均接近或者超过10亿美金，其中DBT Labs、Fivetran、Segment、Workato等估值接近或者超过50亿美金，而Informatica则为美股上市公司。
在所有六个部分中，Data Integration是最核心的部分，它直接决定了公司其他系统的数据能不能更快、更便捷的流入Snowflake中，也决定了Snowflake中存储的数据能够更快、更便捷的被使用。
公司的业务人员经常会抱怨数据需求不能得到快速的满足，数据分析师和数据科学家经常会抱怨基础数据处理起来太费劲，数据工程师则抱怨需求无穷无尽根本做不过来。Data Integration部分就是通过模块化、自动化的ETL模型来解决数据需求与数据供给的矛盾。
DBT Labs
以上图DBT Labs的连接为例：有了DBT Labs的云服务以后，ETL工程师（数据处理工程师）只需要把数据加载（loading）入数据库，DBT的用户则可以直接通过简单的SQL来对数据按需进行转换（Transforming），前端业务人员或者分析师就可以直接用这个转换完的数据进行报表的制作——这也是为什么Qlik、Tableau这样的BI产品在Data integration有所投入。而DBT的用户可以是没有太多开发能力的数据分析或者数据科学家，如果模型完备，甚至完全没有基础的业务人员，也可以进行Transforming和Reporting的工作，而这在以往都是ETL工程师来做的，这样极大缓解了企业的ETL工程师人员的压力，让他们更专注于底层数据模型的开发，而不是天天做个人肉取数机器。
可以说DBT Labs的能力极大地缓解了企业使用数据时，在数据开发阶段的瓶颈，提升了数据应用的效率与覆盖度，这也是为什么Snowflake在2月参与投资DBT Labs的D轮融资。目前DBT Labs累计融资4亿美金，估值42亿美金。
Workato
相较于DBT Labs专注在数据本身的应用，另外一家企业Workato则更注重企业业务流中数据回收和应用。
Workato是一家RPA的公司，RPA全称Robotic process automation，主要是做流程自动化。如果把数据流理解为一个流程，那么Workato的设计理念就是完全契合的。上图中，Workato主要在两个连接点起作用，一方面可以配置自动化流程从salesforce、mixpanel等数据应用中提取数据到Snowflake，另一方面可以把这些数据经过Snowflake的加工以后直接feed到Marketo、Slack、Tableau中应用。因为同snowflake官方有着良好的合作关系，workato直接内置了自动化流程模型：
Workato于去年11月进行了E轮融资，金额2亿美金，估值57亿美金。
更多这两个产品跟Snowflake的关系，观众老爷有兴趣可以去二者官网查看，他们的blog都有详细的介绍。
下一期我将继续介绍Business intelligence（BI）的部分，敬请期待...
如果喜欢Data Integration里面的公司，可以参与下面的投票，投票多的话，作者会把这些公司单独拿出来做一期分析：
往期snowflake相关文章：
大数据新闻早报：Snowflake投资Dbt labs和Dataops.live
Snowflake投资Dbt labs和Dataops.live
喜欢本文的朋友可以【转发】【点赞】【在看】【收藏】【留言】哟
 |
