在本文中，我们将探索 Azure 数据湖分析并使用 U-SQL 查询数据。
Azure 数据湖分析 (ADLA) 简介
Microsoft Azure 平台支持 Hadoop、HDInsight、数据湖等大数据。通常，传统数据仓库存储来自各种数据源的数据，将数据转换为单一格式并进行分析以做出决策。开发人员使用可能需要更长时间进行数据检索的复杂查询。组织正在增加他们在云基础架构中的足迹。它利用了云基础设施仓库解决方案，例如 Amazon RedShift、Azure Synapse Analytics（Azure SQL 数据仓库）或 AWS 雪花。云解决方案具有高度可扩展性和可靠性，可支持您的数据、查询处理和存储需求。
数据仓库遵循Extract-Transform-Load机制进行数据传输。
提取：从不同的数据源中提取数据
转换：将数据转换为特定格式
加载：将数据加载到预定义的数据仓库模式、表中
数据湖不需要严格的模式，并在分析之前将数据转换为单一格式。它以原始格式存储数据，例如二进制、视频、图像、文本、文档、PDF、JSON。它仅在需要时转换数据。数据可以是结构化、半结构化和非结构化格式。
数据湖的一些有用功能是：
它存储原始数据（原始数据格式）
它没有任何预定义的schema
您可以在其中存储非结构化、半结构化和结构化
它可以处理 PB 甚至数百 PB 的数据量
数据湖在读取方法上遵循模式(schema )，根据需求对数据进行转换
概括地说，Azure 数据平台体系结构如下所示。图片参考：微软文档
摄取：从各种数据源收集数据并以其原始格式存储到 Azure 数据湖中
存储：将数据存储到 Azure Data Lake Storage、AWS S3 或 Google 云存储
处理：将原始存储中的数据处理成兼容的格式
分析：使用存储和处理的数据执行数据分析。您可以使用 Azure 数据湖分析 (ADLA)、HDInsight 或 Azure Databricks
| 本文 :https://architect.pub/overview-azure-data-lake-analytics | ||
| 讨论：知识星球【首席架构师圈】或者加微信小号【ca_cto】或者加QQ群【792862318】 | ||
| 公众号 | 【jiagoushipro】 【超级架构师】 精彩图文详解架构方法论，架构实践，技术原理，技术趋势。 我们在等你，赶快扫描关注吧。 |  |
| 微信小号 | 【ca_cea】 50000人社区，讨论：企业架构，云计算，大数据，数据科学，物联网，人工智能，安全，全栈开发，DevOps，数字化. |
|
| QQ群 | 【285069459】深度交流企业架构，业务架构，应用架构，数据架构，技术架构，集成架构，安全架构。以及大数据，云计算，物联网，人工智能等各种新兴技术。 加QQ群，有珍贵的报告和干货资料分享。 |
|
| 视频号 | 【超级架构师】 1分钟快速了解架构相关的基本概念，模型，方法，经验。 每天1分钟，架构心中熟。 |
|
| 知识星球 | 【首席架构师圈】向大咖提问，近距离接触，或者获得私密资料分享。 |
|
| 喜马拉雅 | 【超级架构师】路上或者车上了解最新黑科技资讯，架构心得。 | 【智能时刻，架构君和你聊黑科技】 |
| 知识星球 | 认识更多朋友，职场和技术闲聊。 | 知识星球【职场和技术】 |
| 领英 | Harry | https://www.linkedin.com/in/architect-harry/ |
| 领英群组 | 领英架构群组 | https://www.linkedin.com/groups/14209750/ |
| 微博 | 【超级架构师】 | 智能时刻 |
| 哔哩哔哩 | 【超级架构师】 |
|
| 抖音 | 【cea_cio】超级架构师 |
|
| 快手 | 【cea_cio_cto】超级架构师 |
|
| 小红书 | 【cea_csa_cto】超级架构师 |
|
| 网站 | CIO(首席信息官) | https://cio.ceo |
| 网站 | CIO,CTO和CDO | https://cioctocdo.com |
| 网站 | 架构师实战分享 | https://architect.pub |
| 网站 | 程序员云开发分享 | https://pgmr.cloud |
| 网站 | 首席架构师社区 | https://jiagoushi.pro |
| 网站 | 应用开发和开发平台 | https://apaas.dev |
| 网站 | 开发信息网 | https://xinxi.dev |
| 网站 | 超级架构师 | https://jiagou.dev |
| 网站 | 企业技术培训 | https://peixun.dev |
| 网站 | 程序员宝典 | https://pgmr.pub |
| 网站 | 开发者闲谈 | https://blog.developer.chat |
| 网站 | CPO宝典 | https://cpo.work |
| 网站 | 首席安全官 | https://cso.pub |
| 网站 | CIO酷 | https://cio.cool |
| 网站 | CDO信息 | https://cdo.fyi |
| 网站 | CXO信息 | https://cxo.pub |
