腾讯云首发大数据高性能计算引擎Meson，支持三大产品线性能升级

腾讯云大数据 2024-07-01

154

6 月 28 日，腾讯云发布了行业首个大数据高性能计算引擎—— Meson ，通过多层级、通用化、智能化等优化理念和技术,为大数据通用计算性能带来体系化的提升。

目前， Meson 已登陆腾讯云数据湖、检索分析服务、云数据仓库三大业务线，为企业在湖仓一体分析、向量检索、海量数据离线计算等业务场景带来卓越的性能表现。

突破传统加速瓶颈

多层级优化打造高性能计算引擎

一直以来，业内针对计算加速分别有硬件与软件两个主流方向。但在 AI 时代下数据计算场景越来越多样，单一方向的加速性能瓶颈凸显。

腾讯大数据高性能计算引擎采用了多层级的加速技术，整体结合了包括软件层的向量化计算、JIT Compilation 等一系列软件加速工程、以及硬件层的 GPU 及 FPGA 加速、AI 层的 AI based Optimizer 、负载智能预测等一系列多层级技术，为大数据通用计算性能带来体系化的提升。

除此之外，腾讯云高性能计算引擎解决方案还致力于实现通用化、套件化，让其能够成为腾讯云大数据全体系产品的通用计算加速底座，满足现代数据分析和AI业务需求。

例如， Meson 套件中的腾讯云自研 C++ 向量化计算引擎，可以同时为腾讯云EMR、数据湖计算 DLC、云数据仓库 TCHouse 以及检索分析服务 ES 提供高效的软件加速服务，实现一套加速计算框架在多种产品上达到统一的计算加速体验。

在高性能计算引擎 Meson 套件中，腾讯云还重点瞄准“智能化”，通过 AI based Optimizer 、引擎负载预测、智能任务调度等一系列AI驱动的智能化功能，让融合了 Meson 套件的大数据产品能够获得智能化升级，让大数据系统越用越智能，用户越用越省心。

Meson 已落地三大产品线

性能倍速提升

腾讯云大数据产品家族，作为业界领先的云计算服务提供者，一直致力于为用户提供全面、高效的大数据处理解决方案。而随着 Meson 高性能计算引擎的加入，这一产品家族的性能得到了全面升级。

在腾讯云 EMR 以及 DLC 两个数据湖产品中，基于 Meson 腾讯云已经实现了完全兼容 Spark 的向量化计算能力。数据湖 Meson 引擎围绕数据湖存算分离场景进行了一系列的投入，在业内首发实现了基于 Iceberg 大规模云原生数据湖的全场景查询分析加速，针对基准TPC-DS数据，数据湖 Meson 引擎获得了超过 2.27 倍的性能提升，单个 SQL 最高可达 6.2 倍的性能提升。

发布会上，腾讯云以在同一套作业环境中，先后运行 2 段 SQL ,对比了开源 Spark 引擎开源和 Meson 的区别。结果显示，在同样资源和配置下，作业运行效率提升了近 3 倍。

在搜索分析领域，腾讯云 Elasticsearch 在 Meson 的助力下，成功实现了基于腾讯自研紫霄GPU 的向量检索加速。这意味着用户在面对庞大的文本数据时，能够享受到更快速的检索体验。此外， Meson 还为腾讯云ES 提供了智能化的资源调度和优化功能，进一步提升了检索的稳定性和准确性。

目前，腾讯云 ES 已为云知、安灯、乐享、微信读书等腾讯业务提供了一站式的 RAG 服务。其中，微信读书基于腾讯云 ES 和混元大模型实现的 AI 问书功能，在满足全部功能跟性能要求的基础上，成本从原来的纯内存 400 台 64G 机器下降到 30 台，并大幅降低了运维的成本。

除此之外，作为企业级托管型云原生数据仓库产品，TCHouse 在 Meson 的支持下，实现了计算加速的最佳实践。无论是离线批处理还是实时流处理，TCHouse 都能借助 Meson 的高效计算能力，为用户提供高效、稳定的数据处理服务。同时， Meson 还为 TCHouse 提供了智能化的查询优化功能，有效降低了查询成本，提升了用户体验。

未来，腾讯云将持续优化高性能计算引擎 Meson ，为用户在更多计算场景带来极致的性能提升。

关注腾讯云大数据公众号

邀您探索数据的无限可能

点击阅读原文，了解更多相关产品详情

↓↓↓

大数据高性能计算腾讯云计算 tchouse

文章转载自腾讯云大数据，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

腾讯云首发大数据高性能计算引擎Meson，支持三大产品线性能升级

评论