AWS和IBM Netezza在表格格式竞争中支持Iceberg的出现。

云原生数据库 2023-08-09

358

AWS透露，它正在预览对Iceberg的支持，Iceberg是在2010年代末由Netflix开发的，允许用户使用Redshift在外部数据湖中运行对Apache Iceberg表的分析查询。AWS表示：“现在可以使用Amazon Redshift在AWS Glue数据目录中查询Apache Iceberg表，而其他用户或应用程序可以使用符合ACID标准的服务（如Amazon EMR、Amazon Athena和AWS Glue）安全地对表进行数据操作。” 然而，细则中引入了一些注意事项。“仅适用于新的Iceberg表但不支持对已从Apache Parquet表转换为Apache Iceberg表并在查询中包含分区列的分区表的查询”，它在附带的用户指南中表示。

AWS随后澄清了该系统如何用于查询其云平台之外的数据。该公司告诉The Register：“Amazon Redshift提供了对AWS（包括Amazon S3）中数据湖中的Apache Iceberg表进行查询的事务一致性。要在外部数据源（包括Google BigQuery或Google Cloud Storage）上运行分析，AWS客户可以使用Amazon Athena的预构建数据源连接器。” 它表示，定价将基于Redshift Spectrum或Redshift Serverless的使用情况。 Iceberg受到IBM Netezza的另一个推动，Netezza是一种几乎被遗忘的数据仓库，最初基于PostgreSQL。

我们上次听到Netezza的消息是在2010年被IBM收购后，最终将该系统迁移到了云端。 IBM软件工程师Mike DeRoy在本周的博客中写道，用户可以使用IBM的lakehouse技术watsonx.data来创建Apache Iceberg表格式的表，"允许任何兼容的引擎访问数据，并防止您被锁定在任何特定的引擎中"。他说：“IBM正在将一流的lakehouse集成引入Netezza引擎，使您能够从watsonx.data平台以及其他数据湖平台查询Iceberg表。”

虽然这不是像Betamax vs VHS那样的标准对决，但这些大型厂商似乎在支持哪种表格格式上存在分歧，以实现将分析引擎的视野扩展到数据的任何位置。Snowflake、Cloudera、Google，现在又有AWS和Netezza选择了Iceberg。但是微软、SAP和Databricks选择了后者创建的表格格式，该开源项目由Linux基金会管理。每个厂商都通过表示他们选择的格式反映了客户最需要的需求来为自己的方法辩护。他们还表示，他们将在适当的时候支持一系列格式，包括Apache Hudi。

这就留下了Oracle。本月早些时候，Big Red表示将扩展其MySQL HeatWave以查询存储在对象存储中的数据。当然，这指的是他们自己的对象存储。不过，Oracle确实表示，他们打算在未来支持开放的表格格式，首先是Iceberg和Delta Lake。

文章转载自云原生数据库，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

AWS和IBM Netezza在表格格式竞争中支持Iceberg的出现。

评论