2024年6月4日，Databricks，作为数据分析软件的领导者，近日宣布收购由Ryan Blue、Daniel Weeks和Jason Reid创立的数据管理公司Tabular，这一举措标志着两大开源数据湖架构——Delta Lake和Apache Iceberg™——的原始创造者将携手合作。
收购的意义
此次收购不仅将两大领先技术的创造者汇聚一堂，更预示着数据兼容性的新时代。我们致力于与Iceberg和Delta Lake社区紧密合作，推动数据格式的兼容性，无论是短期内通过Delta Lake UniForm实现，还是长期通过发展单一、开放且通用的互操作性标准。
数据湖架构的兴起与格式不兼容问题
Databricks在2020年开创性地提出了数据湖架构，旨在将传统数据仓库工作负载与AI工作负载整合在单一的数据治理副本上。这种架构要求所有数据都采用开放格式，以便不同的工作负载、应用程序和引擎能够访问相同数据。然而，尽管Delta Lake和Iceberg都基于Apache Parquet并拥有相似的目标和设计，它们却因独立开发而变得不兼容。
互操作性之路
为了实现数据湖架构的价值，企业需要数据互操作性。Databricks计划与Iceberg和Delta Lake社区紧密合作，将互操作性引入格式本身。这是一个长期旅程，可能需要数年时间才能在这些社区中实现。这也是为什么我们去年向世界介绍了Delta Lake UniForm。UniForm表格在Delta Lake、Iceberg和Hudi之间提供互操作性，并支持Iceberg的Restful目录接口，使公司能够使用他们已经熟悉的分析引擎和工具，处理所有数据。
对开放性的共同承诺
Databricks和Tabular都对推广开源格式抱有共同的承诺。Databricks是按收入计算最大且最成功的独立开源公司，已向开源项目捐赠了1200万行代码。此次收购凸显了我们对开放格式和云中开源数据的承诺，这有助于确保公司能够控制自己的数据，并免受专有供应商格式锁定的影响。
结语
我们期待在交易完成后欢迎Tabular团队的加入，并与他们一起朝着开放数据湖的共同愿景努力。Databricks通过此次收购，不仅加强了自身的技术实力，也为整个数据分析行业带来了新的发展方向和可能性。
发布于：2024-06-04
作者：Adam Conway, Ali Ghodsi, Arsalan Tavakoli-Shiraji 和 Reynold Xin
