在亚马逊云科技上构建智能湖仓（下）

要在智能湖仓存储层中转换结构化数据，您可以使用您所熟悉的 SQL 语义构建起功能强大的 ELT 管道。这些 ELT 管道将使用 Amazon Redshift 中的大规模并发处理（MPP）功能以及 Redshift Spectrum 功能启动数千个瞬态节点，即时将处理容量扩展至PB级别。Amazon Redshift 上基于存储过程的这类 ELT 管道能够对以下对象进行转换：

• 由 Amazon DMS 或 Amazon AppFlow 直接传递至 Amazon Redshift staging 表的平面结构化数据；
  

• 使用开源文件格式（例如 JSON、Avro、Parquet 及 ORC 等）托管在数据湖内的数据。
  

在数据丰富期间，这些管道还可以使用 SQL 语句将内部维度表与 S3 数据湖内托管的大型事实表（使用 Redshift Spectrum 层）连接起来。在最后一步中，数据处理管道可以将经过策划、丰富与建模的数据插入至 Amazon Redshift 内部表或存储在 Amazon S3 中的外部表内。

为了对智能湖仓存储层（Amazon S3 与 Amazon Redshift）上托管的大量半结构化、非结构化或高度结构化数据进行集成处理，您可以使用 Apache Spark 构建大数据处理作业，并在 Amazon Glue 或 Amazon EMR 上加以运行。这些作业可以使用 Spark 的原生及其他开源连接器进行访问，并将 Amazon Redshift 中存储的关系型数据同 Amazon S3 中存储的复杂平面或分层结构化数据结合起来。处理完成后，这些作业可以将结果数据集存储回 S3 数据湖、Amazon Redshift 数据仓库或者二者共同构成的智能湖仓存储层。

Amazon Glue 提供无服务器、按使用量计费的 ETL 功能，其 ETL 管道能够处理规模达数十TB的海量数据，且无需启动或管理任何服务器或集群。为了加快 ETL 开发，Amazon Glue 还能自动生成 ETL 代码并提供常用的数据结构与 ETL 转换（用于验证、清洗、转换及展平数据）。Amazon Glue 还提供内置功能，用于处理存储在 Amazon Redshift 以及 S3 数据湖内的数据。在同一作业之内，Amazon Glue 还可以加载并处理使用平面表格式存储的 Amazon Redshift 数据、以及其他使用常见开源格式（例如 CSV、JSON、Parquet 以及 Avro）存储的 S3 数据湖托管数据集。Amazon Glue ETL 作业可通过公共 Lake Formation 目录（Amazon Glue crawlers 会爬取 Amazon S3 及 Amazon Redshift 以获取数据）访问这些数据，借此以统一方式引用 Amazon Redshift 与 Amazon S3 托管表。Amazon Glue ETL 还能够对分区数据执行增量处理。此外，Amazon Glue 也提供触发器与工作流功能，可用于构建包含作业依赖项、并发运行等多个步骤的端到端数据处理管道。

您可以自动扩展 EMR 集群，满足PB级别大数据处理管道的严苛资源需求。这些管道还可以使用不同的 Amazon Elastic Compute Cloud (Amazon EC2) 竞价实例队列，进一步改善资源成本优化效果。关于实例选项的更多详细信息，请参阅支持的实例类型。

运行在 Amazon EMR 上的基于 Spark 数据处理管道能够实现以下功能：

•  Spark 内置的读取器与写入器能够处理采用多种开源格式的数据湖托管数据集；

• 开源 Spark-Amazon Redshift 连接器能够直接对 Amazon Redshift 数据仓库中的数据进行读取与写入。

要读取由数据湖托管的复杂结构化数据集 schema，Amazon EMR 上的 Spark ETL 作业可以接入 Lake Formation 目录。这是通过 Amazon Glue 兼容性配合亚马逊云科技身份与访问管理（IAM）策略共同实现，负责对指向 Amazon Glue 表以及底层 S3 对象的访问进行分别授权。同样，Spark 作业还可以使用 Spark-Amazon Redshift 连接器读取 Amazon Redshift 托管数据集的数据与 schema。您也可以使用 Spark 及 Apache Hudi 构建高效的增量数据处理管道 Amazon EMR。

要执行多个现代分析用例，您需要以近实时方式执行以下操作：

• 摄取大量高频或流式数据；

• 验证、清洗与丰富数据；

• 将数据放入智能湖仓存储以供消费。

您可以使用以下方法构建起能够轻松扩展、并近实时处理大量数据的管道：

• Amazon Kinesis Data Analytics for SQL/Flink；

• 在 Amazon Glue 或 Amazon EMR 上使用 Spark Streaming；

• 将 Kinesis Data Firehose 与 Amazon Lambda 相集成。

Kinesis Data Analytics、Amazon Glue 与 Kinesis Data Firehose 可帮助您建立起近实时数据处理管道，且无需创建或管理任何计算基础设施。Kinesis Data Firehose 与 Kinesis Data Analytics 管道能够弹性扩展以匹配源吞吐量，而基于 Amazon EMR 与 Amazon Glue 的 Spark Streaming 作业则可以根据指定的扩展参数、在几分钟内完成规模扩展。

基于 Kinesis Data Analytics for Flink/SQL 的流式管道通常会从 Amazon Kinesis Data Streams （位于我们智能湖仓架构的摄取层中）读取记录、对其进行转换，而后将处理完成的数据写入至 Kinesis Data Firehose。Spark Streaming 管道则通常从 Kinesis Data Streams （位于我们智能湖仓架构的摄取层中）读取记录、对其进行转换，而后将处理完成的数据写入至另一 Kinesis 数据流，且后者又接入 Kinesis Data Firehose 交付流。Firehose 交付流能够将处理后的数据交付至智能湖仓存储层内的 Amazon S3 或 Amazon Redshift。要构建起简单、不涉及状态转换的近实时管道，您可以将数据直接摄取至 Kinesis Data Firehose 中，并使用 Kinesis Data Firehose 调用的 Lambda 函数对传入记录进行微批处理。Kinesis Data Firehose 会将转换后的微批记录交付至智能湖仓存储层中的 Amazon S3 或 Amazon Redshift。

凭借着将数据交付至 Amazon S3 与 Amazon Redshift 的能力，Kinesis Data Firehose 得以为处理层中的近实时 ETL 管道提供统一的智能湖仓存储写入器接口。在 Amazon S3 上，Kinesis Data Firehose 可以将数据存储在有效的 Parquet 或 ORC 文件中，您可以灵活使用 ZIP、GZIP 及 Snappy 等开源编解码器对这些文件进行压缩。

要使用交互式 SQL 探索智能湖仓内存储的所有数据，商务分析师与数据科学家可以使用 Amazon Redshift （配合 Redshift Spectrum） 或者 Athena 轻松实现。您可以运行 SQL 查询，这些查询会将 Amazon Redshift 集群中托管的平面、关系、结构化维度数据，连同 Amazon S3 中存储的TB级规模的平面或复杂结构化历史事实数据结合起来，而且允许在数据中使用 JSON、Avro、Parquet 以及 ORC 等开放文件格式。在 Amazon S3 中查询数据集时，Athena 与 Redshift Spectrum 都将获取存储在 Lake Formation 目录中的 schema，并将其应用于读取操作（schema-on-read）。您可以在 Athena 或 Amazon Redshift 各自的控制台上运行查询，也可以将面向 JDBC 或 ODBC 端点提交查询。关于更多详细信息，请参阅使用 ODBC 与 JDBC 驱动程序接入 Amazon Athena，以及在 Amazon Redshift 中配置连接。

Athena 能够针对存储在 Amazon S3 中的TB级数据运行复杂的 ANSI SQL，而且您无需预先将其加载至数据库内。Athena 具有无服务器特性，因此不存在需要设置或管理的基础设施，您只需要为运行查询所产生的数据扫描量付费。Athena 还提供联合查询功能，允许在同一 SQL 查询中将 Amazon S3 托管的事实数据与 Amazon Redshift 集群内托管的维度表结合起来。Athena 利用存储在 Lake Formation 目录内的数据集分区信息减少数据扫描量，由此更快提供结果并降低查询成本。您可以使用 Athena CTAS 语句存储重复的查询结果，这将进一步降低查询成本。

Amazon Redshift 提供强大的 SQL 功能，可对智能湖仓存储（跨 Amazon Redshift MPP 集群与 S3 存储湖）内的超大型数据集进行快速在线分析处理 （OLAP）。Amazon Redshift 还提供功能强大的查询优化器，能够通过类似于 PostgreSQL 的语法编写出复杂的用户查询，并生成可在 Amazon Redshift MPP 集群与 Redshift Spectrum 节点队列（以查询 Amazon S3 中的数据）上运行的高性能查询计划。Amazon Redshift 则提供结果缓存功能，可将同一查询的重复操作次数降低几个数量级，借此显著缩短查询运行时间。借助 Amazon Redshift 中的物化视图，您只需要对复杂 join 进行一次预先计算（后续以增量方式进行刷新），借此简化并加快用户所需编写的下游查询。Amazon Redshift 还提供并发扩展，可在几秒钟内启动更多瞬态集群，借此支持几乎无限数量的并发查询。您可以将查询结果写入回 Amazon Redshift 原生表或者 S3 数据湖上托管的外部表（使用 Redshift Spectrum）。

数据科学家们往往需要探索、整理并特征化各类结构化与非结构化数据集，为机器学习模型的训练作业做好准备。智能湖仓接口（用于将 Amazon Redshift 与 Athena 及 Spark 接口配合使用的交互式 SQL 接口）能够为数据科学家提供以下功能，由此大大简化并加快数据准备进程：

• 统一的 Lake Formation 目录，用于搜索及发现智能湖仓存储中托管的所有数据；

• 基于 Amazon Redshift SQL 与 Athena 的交互式 SQL 功能，用于访问、浏览及转换智能湖仓存储中的所有数据；

• 基于 Spark 的统一访问机制，能够整理并转换智能湖仓存储中托管的所有数据集（包括结构化与非结构化），并将其转换为特征集。

接下来，数据科学家可以将 Amazon SageMaker 接入智能湖仓的存储层并访问训练特征集，借此完成机器学习模型的开发、训练与部署。

SageMaker 是一项完全托管服务，提供一套名为 SageMaker Studio 交互式开发环境（IDE）以构建、训练及部署机器学习的各组件。在 Studio 中，您可以使用统一的可视化界面统一上传数据、创建新 notebook、训练及调整模型、在各步骤间往来移动以调整实验过程、比较结果并将模型部署至生产环境中。关于更多详细信息，请参阅 Amazon SageMaker Studio：第一款用于机器学习的完全集成开发环境。

SageMaker 还提供托管 Jupyter notebook，您只需单击几下即可启动 notebook。SageMaker notebook 提供弹性计算资源、git 集成、轻松共享、预置机器学习算法、几十种现成机器学习示例以及 Amazon Marketplace 集成功能，您可以轻松部署数百种经过预训练的算法。SageMaker notebook 还预先配置了所有主要深度学习框架，包括 TensorFlow、PyTorch、Apache MXNet、Chainer、Keras、Gluon、Horovod、Scikit-learn 以及 Deep Graph Library 等。

各机器学习模型在 SageMaker 托管的计算实例上进行训练，其中也包括成本效益极高的 EC2 竞价实例。您可以使用 SageMaker Experiments 组织多项训练作业，也可以使用 SageMaker 的内置算法、自定义算法或 Amazon Marketplace 提供的数百种算法构建训练作业。SageMaker Debugger 则提供对于模型训练作业的完全可见性。最后，SageMaker 也为机器学习训练作业提供强大的自动超参数调优选项。

只需要单击几下，您就可以将 SageMaker 训练完成的模型部署至生产中，并轻松通过一组完全托管 EC2 实例进行扩展。您可以在多种 EC2 实例类型中做出选择，并附加具有成本效益的 GPU 驱动实例实现推理加速。模型部署完成后，SageMaker 即可监控关键模型指标以提高推理准确性，同时检测一切概念漂移迹象。

Amazon QuickSight 提供无服务器功能，可供您轻松创建并发布包含丰富信息的交互式商务智能仪表板。商务分析师们可以使用 Athena 或 Amazon Redshift 的交互式 SQL 接口，通过智能湖仓存储中的数据为 QuickSight 仪表板提供素材支持。此外，您也可以直接将 QuickSight 接入可操作数据库（例如 MS SQL、Postgres）以及各类 SaaS 应用（例如 Salesforce、Square 以及 ServiceNow 等）。为了保证仪表板拥有出色的性能表现，QuickSight 还提供一款名为 SPICE 的内存缓存与计算引擎。SPICE 能够自动复制数据以实现高可用性，允许成千上万用户同时执行快速交互式分析，并有效保护底层数据基础设施。

QuickSight 凭借开箱即用、自动生成的机器学习洞见（包括预测、异常检测与叙述重点等）极大丰富了仪表板信息与视觉效果。QuickSight 与 SageMaker 原生集成，可在商务智能仪表板上实现其他基于机器学习模型的自定义洞见。您可以使用 QuickSIght 应用程序经由任意设备访问 QuickSight 仪表板，也可以将仪表板灵活嵌入至 Web 应用程序、门户与网站中。QuickSight 能够自动扩展至成千上万用户，并以经济高效的按会话计费方式提供极具性价比的服务体验。