评测开启 | 中国信通正式启动数据分析智能体性能测试

大数据技术标准推进委员会 2025-11-26

119

一、编制背景

数智化时代，企业各业务领域的用数需求成为刚需，数据要素逐步成为企业经营管理的必备条件，从服务少数分析师团队向服务于各类业务人员转变。敏捷化、普惠化、智能化成为企业数据分析体系建设的重点方向。与此同时，大模型、Agent 架构和云原生算力的成熟，使得将自然语言提出的数据分析需求转化为可即时执行的数据问题成为可能。需求与技术的交汇催生出智能数据分析工具和系统，推动从静态数据到决策智能的范式跃迁。为推动智能数据分析技术的研发和落地，中国信通院围绕chatBI、数据分析智能体等前沿技术开展了系列标准制定、技术和产业研究以及产品测试工作，现已完成《数据分析智能体性能测试规范》并推进相关评测。

数据分析智能体（Data Agent）是专精于企业数据工作的智能体系统。数据分析智能体以“可对话的自主数据分析师”为技术定位，支持用户以自然语言提问获取数据，并提供数据解读、波动归因等洞察能力，帮助用户提炼高价值的业务洞察并生成可行动建议。通过将用户用自然语言提出的数据分析需求转化为可执行的数据问题，数据分析智能体能够在零散、庞杂、多来源的数据基础上，自主规划并执行包含数据整合、清洗、建模、推理、挖掘与验证在内的完整深度分析闭环过程，最终生成具备研究深度的分析成果；并将分析结果以最合适的形式（例如结构化的分析报告）有效地呈现给用户。

二、标准介绍

在数据分析智能体技术落地应用的过程中，计算分析的准确率、分析报告可读性、归因逻辑可解释性、业务建议可执行性、系统的稳定性等性能因素对用户的信任度和系统可用性的影响至关重要。为解决性能基准缺失引发的信任问题，中国信通院牵头联合30余家企业的50余位专家完成了《数据分析智能体性能测试规范》标准的编制工作。本项工作旨在建立科学合理的评价体系，全方位评价数据分析智能体的生产级可用性。短期内通过设定基准，牵引技术研发方向，同时为企业提供选型“标尺”，降低部署风险；长期来看，通过筑牢技术的信任底座，推动数据分析智能体从“单点工具”升级为“自主协作者”，激活企业智能决策市场。

<标准评测维度总览>

标准工作的参与企业有：火山引擎、国家管网智网数科、中国铁塔、中金公司、中国电信研究院、联通软研院、中国移动数智化部、中电云、腾讯、中金财富、浙江大华、中电信人工智能公司、联通数智、应急管理部大数据中心、宇信科技、辽宁联通产互公司、掌动智能、酷克数据、辽港集团、星环科技、亚信科技、中移杭研、中移互联网、中移苏研、荣耀终端、HashData、景联文科技、健交科技、数新智能、数智引航、璇枢链、中国数联等。

三、测试基准介绍

同时，为切实推动标准的落地。中国信通院同步开展了测试数据集和题目的收集工作，并配套有自动化评测工具以确保结果的客观和可重复。（工具研发由火山引擎提供技术支持）。

1. 底层数据集介绍

底层数据集来自开源数据重构，覆盖金融、交通、汽车、零售、房产、财务、云服务等多个领域。

2. 题目设计介绍

· 题目类别涵盖归因分析、趋势分析、数据查询、自由探索等真实业务的核心场景。

· 题目设计时考虑对业务术语和概念识别、异常输入处理、知识召回、指令遵从等能力的考察。

· 为了检验智能体在不同难度等级的数据任务下的业务能力和响应性能，按复杂度将题目拆解为简单、中等和困难三个等级。