暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

使用 SQL Server 2022 的 PolyBase 进行数据虚拟化

原创 肯肯在学习 2022-10-10
1527

微软 SQL Server 2022 引入了最新版本的 PolyBase,能够查询数据所在的位置、虚拟化数据以及使用 REST API。REST API 使 SQL Server 更加灵活和轻量级,同时扩展了其支持的连接器和文件格式的范围。

SQL Server 2022 现在支持存储在 Azure 存储帐户 v2、Azure 数据湖存储 Gen2 或任何符合 S3 标准的简单存储服务 (S3) 的对象存储(最后一个作为本地产品/服务或云中)上的 CSV、Parquet 和增量文件。最后,SQL 服务器 2022 现在可以将 Create External Table as Select(CETAS) 与 OPENROWSET、Create External Table (CET) 等命令以及所有新的 T-SQL 增强功能一起使用。SQL Server 2022 是一个功能强大的数据中心。

它是如何工作的?

SQL Server 2022 的数据虚拟化更加灵活且易于使用,因为它的功能位于引擎本身内部。下图可以更好地了解体系结构:

image.png
此图提供了符合 S3 标准的对象存储提供程序的非详尽列表。SQL Server 2022 与与 S3-REST API 兼容的任何对象存储提供程序兼容。

  • OPENROWSET:允许 SQL 引擎访问 SQL 服务器外部数据(文件或其他数据库)的轻型命令。建议用于加载数据或数据浏览。

  • CREATE EXTERNAL TABLE(CET):创建一个表,其中数据保留在 SQL Server 外部的原始位置,并且选择此选项后,SQL 引擎将向用户提供请求的数据。外部表受益于可重用性,并且可以利用统计信息的使用来提高性能。

  • CREATE EXTERNAL TABLE as SELECT(CETAS):它在单个命令中执行操作组合。首先,它允许 SQL Server 转换和转换存储在数据库内部或外部的给定数据。其次,它将数据导出到其他位置,即网络位置或 Azure。最后,它会创建一个针对新导出数据的外部表。

这些操作由数据库主密钥和外部凭据的组合进行保护,以简化管理。

如果数据存储在 Azure 存储帐户 v2 (abs)、Azure 数据湖第 2 代 (ADL) 或符合 S3 的对象存储上,则 SQL Server 2022 将使用 REST API 实现。否则,SQL Server 2022 将使用聚基服务 - 这两种情况都需要安装宝丽库服务。

有关数据源的完整列表,请参阅外部数据源文档

外部文件支持也有所增加,SQL Server 2022 现在支持 CSV、Parquet 和增量类型。请在外部文件格式 (TRANSACT-SQL) 文档中找到支持的外部文件格式的完整列表。

优势

使用 SQL Server 2022 上的 PolyBase 进行数据虚拟化的主要优势:

  • 无数据移动:访问数据所在的位置。
  • T-SQL 语言: 能够利用 T-SQL 语言的所有优势、其命令、增强功能和熟悉程度。
  • 所有数据一个来源: 用户和应用程序可以使用 SQL Server 2022 作为所有必需数据的单一数据源,而数据库管理员和数据工程师则有要维护的单一环境。
  • 安全:利用 SQL Server 安全功能实现精细的权限、凭据管理和控制。
  • 成本:PolyBase 在所有 SQL Server 2022 版本中均可用。

最后

如果尚未下载,可点击下载最新版本的 SQL Server 2022,并查看 SQL Server 2022 概述和新增功能参考。

原文标题:Data Virtualization with PolyBase for SQL Server 2022
原文作者:Hugo Queiroz
原文地址:https://cloudblogs.microsoft.com/sqlserver/2022/10/05/data-virtualization-with-polybase-for-sql-server-2022/

最后修改时间:2022-10-10 13:25:20
「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论