数智技术驱动，打造极致性价比

腾讯云大数据 2024-10-17

导读：云计算和大数据作为现代企业基础设施的核心部分，对于提高效率和降低成本至关重要。腾讯云大数据团队始终致力于通过技术创新，提供高性价比的产品解决方案，以满足企业的需求。围绕性价比提升，腾讯云大数据首先推出了 Meson 高性能计算加速解决方案，目前可为 EMR 和 DLC 两款数据湖产品带来约2倍的基准性能提升。另外，在检索分析服务ES上，我们基于读写分离、存算分离架构升级，今年我们在日志场景可实现约10倍的性价比提升。更值得一提的是，我们今年也带来了可进一步降低成本的全新产品形态，包括 EMR 托管节点，以及 ES Serverless 服务。文中将对相关细节做详细讲解。

主要包括以下三部分：

Meson 高性能计算引擎
ES日志场景10倍性价比提升
更灵活的产品形态

Meson 高性能计算引擎

产品的性价比源于性能的不断提升，在今年上半年，腾讯云大数据自研了一套高性能计算引擎通用解决方案——Meson。

Meson 是腾讯云大数据的通用高性能计算加速套件，整体围绕极致软件工程，加软硬件一体加速和 AI 加持的设计理念，致力于打造通用化、套件化，适配腾讯云大数据全体系产品的通用计算加速底座。

在腾讯云EMR 以及 DLC 两个数据湖产品中，基于 Meson，目前我们已经实现了完全兼容 Spark 的向量化加速能力，相比开源 Spark 性能提升可达到 2.27倍。另外，在腾讯云检索分析服务 ES 上，结合高性能计算引擎 Meson 解决方案，腾讯云ES 成为了目前全球唯一支持 GPU 加速的 ES 服务。具体而言，我们与腾讯自研 GPU 技术紫霄软硬结合，充分利用 GPU 的性能优势，显著提高了 ES 向量生成和向量检索的效率。

ES 日志场景10倍性价比提升

腾讯云ES 服务一直是日志、安全、检索场景的开源首选方案，围绕日志场景的成本优化，腾讯云ES服务自主研发了读写分离、存算分离新架构重大升级，整体可在日志场景中带来最高10倍的性价比提升。

在读写分离方面，基于资源隔离提升可用性的思路，腾讯云ES 实现了全面优于开源社区的读写分离性能，写入性能最大提升10倍。

另外，我们在自研 ES 新架构上实现了基于腾讯云对象存储的存算分离、热数据实时下沉、按需卸载等能力，在业务实测中，可降低 90% 以上的存储成本。

接下来以一个具体的客户案例来说明。

A客户在原社区版 ES 上需要50台存算一体 ES 节点，而在腾讯云自研ES 存算分离架构下，可将计算节点缩减到5台，存储成本在 SSD 以及对象存储的存算分离下可缩减 90% 。在此基础上，如果结合使用共享读写分离，可进一步降低成本，相比社区原生 ES 架构，可实现十倍以上性价比。

更灵活的产品形态

除了性能以及架构升级以外，腾讯云大数据一直致力于创新产品形态，提供更灵活的产品使用模式。

在腾讯云EMR 产品上，近期推出了全新的托管节点资源类型，EMR 托管节点实现了资源的全自动化运维和自动扩缩容，让用户可免运维的同时，显著降低了计算资源的使用成本。

相比于 EMR 产品传统 task 或者 core 节点，全新推出的托管节点具备三大优势：首先是低成本，托管节点相比传统 EMR 节点使用成本平均有 30% 的降低；第二是更易用，托管节点支持自动扩缩容，用户无需为 EMR 集群配置复杂的机型弹性规则，平台可以做到托管节点的自动伸缩；第三点是完全免运维，EMR 托管节点具备故障自动替换机制，以及实时监控、任务迁移等能力，当托管节点资源在遇到故障时，能够迅速做出反应，确保集群和业务的稳定性。

在腾讯云检索分析服务 ES 上，我们推出了 ES Serverless 产品形态，面向日志场景提供自动弹性，完全免运维的一站式日志分析解决方案。

相比传统模式，ES Service 具备三大优势：首先是可以显著降低成本，ES Serverless 基于腾讯云自研的高可用存算分离架构，客户根据实际访问与存储量计费，实现了业务负载与资源动态匹配的按需付费，可减少资源闲置所导致的成本支出，大幅降低成本；其次是提升易用性，ES Serverless 提供集群免运维、索引免运维、数据链路免运维的一站式场景化解决方案；第三是保持兼容性，ES Serverless 服务 100% 兼容开源 ES API，兼容 ELK 生态，可极大降低业务上云门槛，可在分钟级实现业务落地。

提供更优性价比的产品解决方案，一直是腾讯云大数据致力投入的方向。通过高性能计算引擎Meson、全面的产品技术架构升级，以及更加灵活易用的产品形态，我们希望为客户的降本增效目标注入更强大的驱动力。

腾讯云大数据始终致力于为各行业客户提供轻快、易用，智能的大数据平台。

关注腾讯云大数据公众号

邀您探索数据的无限可能

点击阅读原文，了解更多相关产品详情

↓↓↓

架构

文章转载自腾讯云大数据，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

数智技术驱动，打造极致性价比

评论