暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Azure 数据资源管理器:日志和遥测分析基准

原创 通讯员 2022-08-17
416

Azure 数据资源管理器(ADX) 是 Azure Synapse Analytics 的一个组件,是一种高度可扩展的分析服务,针对结构化、半结构化和非结构化数据进行了优化。它为用户提供交互式查询体验,从不断增长的日志和遥测数据的海洋中释放洞察力。它是使用 SQL 或 Kusto 查询语言 (KQL)(一种功能强大且用户友好的查询语言)分析云中大量新数据和历史数据的完美服务。

Azure 数据资源管理器是Microsoft 自己的数字化转型的关键推动者。几乎所有 Microsoft 产品和服务都以一种或另一种方式使用 ADX;这包括故障排除、诊断、监控、机器学习,以及作为 Azure 服务(如 Azure Monitor、PlayFab、Sentinel、Microsoft 365 Defender 等)的数据平台。Microsoft 的客户和合作伙伴正在将 ADX 用于从车队管理、制造、安全分析解决方案、包裹跟踪和物流、物联网设备监控、金融交易监控和许多其他场景等各种场景。在过去几年中,该服务出现了惊人的增长,现在在数百万个 Azure 虚拟机内核上运行。

去年,第三代 Kusto 引擎 ( EngineV3 ) 发布,目前作为透明的就地升级提供给所有尚未使用最新版本的用户。新引擎具有存储、缓存和查询执行层的全新实现。因此,许多关键任务工作负载的性能提高了一倍或更多。

Azure 数据资源管理器的卓越性能和成本效益
为了更好地帮助我们的用户评估新引擎的性能和 ADX 的成本优势,我们寻找了一个现有的遥测和日志基准,该基准具有我们在用户中看到的常见工作负载特征:

  1. 包含结构化、半结构化和非结构化数据类型的遥测表。
  2. 记录在数千亿以测试大规模。
  3. 代表常见诊断和监视方案的查询。

由于我们没有找到满足这些需求的现有基准,我们与 GigaOm 合作并赞助了GigaOm来创建和运行一个。新的日志和遥测基准在此GitHub 存储库中公开可用。该存储库包括一个数据生成器,用于生成 1GB、1TB 和 100TB 的数据集,以及一组 19 个查询和一个用于执行基准测试的测试驱动程序。

现在在GigaOm 报告中提供的结果表明,Azure 数据资源管理器在单并发和高并发场景中以显着降低的成本提供了卓越的性能。例如,从报告中提取的以下图表显示了在模拟 50 个并发用户时执行基准测试的结果:

image.png

文章来源:https://azure.microsoft.com/zh-cn/blog/azure-data-explorer-log-and-telemetry-analytics-benchmark/

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论