原文作者:无
Databricks 是一家数据和人工智能公司,也是数据湖库范式的先驱,它正在发布 Delta Live Tables (DLT),这是一个 ETL 框架,它使用简单的声明性方法来构建可靠的数据管道并自动大规模地管理数据基础设施。
将 SQL 查询转换为生产 ETL 管道通常需要大量繁琐、复杂的操作工作。据供应商称,通过使用现代软件工程实践来自动化数据工程中最耗时的部分,数据工程师和分析师可以专注于交付数据,而不是操作和维护管道。
Delta Live Tables 是一个 ETL 框架,它通过结合现代工程实践和基础设施的自动管理来解决这个问题,而过去市场上的努力只解决了一个方面。
它允许工程师简单地描述数据转换的结果,从而简化了 ETL 开发。
然后,Delta Live Tables 实时了解整个数据管道的依赖关系,并自动消除几乎所有手动复杂性。它还使数据工程师能够将他们的数据视为代码,并应用现代软件工程最佳实践(如测试、错误处理、监控和文档)来更轻松地大规模部署可靠的管道。
Delta Live Tables 完全支持 Python 和 SQL,并针对流式和批处理工作负载进行了定制。
“DLT 的力量来自于其他人无法做到的事情——结合现代软件工程实践并自动管理基础设施。Databricks 首席执行官兼联合创始人 Ali Ghodsi 表示,这是一项改变游戏规则的技术,它将使数据工程师和分析师比以往任何时候都更有效率。“它还扩大了 Databricks 的范围;DLT 通过单个 API 支持任何类型的数据工作负载,无需高级数据工程技能。”
有关此新闻的更多信息,请访问https://databricks.com。
「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。




