评估 智能 GitHub Copilot 副驾驶® 智能体框架在不同模型和任务中的性能与效率

探索 GitHub Copilot 智能体框架如何在多个基准测试中取得优异成绩，并实现领先的 Token 效率，同时保持 20 多种模型的灵活性。

虽然模型提供的是原生能力，但 Harness 决定了这种能力能在多大程度上被有效发挥。GitHub Copilot Agentic Harness 是 GitHub Copilot SDK 的一个共享组件，它为 GitHub Copilot CLI、GitHub Copilot App 和 Copilot Code Review，以及 GitHub 和 Microsoft 上各种各样的体验提供支持。改进 harness，每个产品界面都会从中受益。

工具、上下文和工作流均由该框架进行编排。对于开发者而言，框架应当快速、Token 高效且可预测。这正是我们在设计 GitHub Copilot 智能体框架时所追求的目标。

在本文中，我们将展示相关数据，呈现 GitHub Copilot 智能体框架在广泛的智能体软件工程任务中的效率和性能。

我们通过公开基准测试和内部开发的基准测试相结合的方式，持续评估 GitHub Copilot Agentic 框架的能力和效率。我们的公开基准测试包含行业标准，而多个内部基准测试则源自 GitHub 和 Microsoft 内部的大型代码库。我们还辅以真实世界指标和在线实验，以确保我们既了解该框架在受控环境中的性能，也了解其对 Agentic 问题解决和任务完成的实际影响。

为了评估 GitHub Copilot 的 Harness 相较于模型提供商 Harness 的性能，我们尽可能多地控制变量：使用相同的模型、相同的基准测试任务，并在上下文窗口、推理投入、工具选择和 MCP 服务器方面进行标准化。

下面，我们报告我们所跟踪的部分基准测试的最新结果，涵盖四个领先的模型：Claude Sonnet 4.6、Claude Opus 4.7、GPT‑5.4 和 GPT‑5.5：

在整个过程中，我们将 GitHub Copilot CLI 与原生搭载这些模型的模型供应商工具框架进行比较：用于 Sonnet 4.6 和 Opus 4.7 的 Claude Code，以及用于 GPT‑5.4 和 GPT‑5.5 的 Codex CLI。

在保持模型和任务固定的情况下，纵观多项基准测试结果，GitHub Copilot harness 实现的任务完成率与其他模型供应商的 harness 相当，同时在大多数配置下显示出更低的 token 消耗。

Token 效率：GitHub Copilot CLI 与其他模型供应商框架的比较

只有在任务真正完成的情况下，token 效率才有意义。

在这些基准测试中，当使用固定模型和基准测试任务时，GitHub Copilot 智能体框架的任务解决率与模型供应商框架相当。这确保了底层模型的全部潜力都能得到发挥，同时还具备多模型灵活性、token 效率以及内存和上下文能力。

完成任务：GitHub Copilot CLI 与 模型供应商框架

这些结果反映出实际上的对等，因为无论偏向哪一方的差异都处于由模型随机性所导致的方差范围之内，从而使得跨 harness 的性能处于同等水平。

为了持续提升 GitHub Copilot 代理框架在任务完成度和 Token 效率方面的表现，我们会定期在各项基准测试中进行全面分析。以下是对 TerminalBench 2.0 的方差分析示例，它不仅凸显了 GitHub Copilot 在任务完成度和 Token 效率方面的优势，还展示了此类基准测试固有的运行间方差。

解决率与单项任务成本：曲线向左上方延伸更佳——即解决更多问题，同时降低成本。

每个标记代表 TerminalBench 2.0 上的一种智能体与模型配置，纵轴为解决率，横轴为每个任务的美元成本。每个点周围的阴影椭圆显示了 ±1σ 的运行间波动，展现了每种配置在不同运行之间的差异程度。

其中有三点尤为突出：

1.在我们评估的各项配置中，GitHub Copilot 的智能体框架在任务完成率和单任务成本方面与其他智能体持平或更优。紫色（Copilot）标记及其同模型竞争对手在两个坐标轴上几乎对每个模型都落在相互重叠的椭圆内——这些差异都在运行间的方差范围之内。Copilot 在完成率上从不低于竞争对手，在成本上也从不偏右。

2.运行间的变异性。我们对每个智能体-模型组合至少运行了五次。椭圆标记了这些运行的 1σ 分布；图表中椭圆越紧凑，意味着结果的可重现性越高，而椭圆越宽则表明结果在成本和任务完成度两方面每次运行之间的波动越大。

3.GitHub Copilot 模型选择的优势：该图表展示了一个真实的权衡：GPT 模型（左侧）提供最佳性价比：以最低成本实现强劲的解决率。Claude Opus（右上方）以更高的成本实现最高的解决率。GitHub Copilot 将两者都摆上台面，因此你可以针对每个任务选择效率或顶级质量。

GitHub Copilot 智能体框架支持 GPT、Claude、Gemini 和 MAI 系列中的 20 多种前沿模型，还可以使用自带密钥来接入开源和本地模型。你可以根据每个任务的能力和成本特性选择合适的模型，也可以让 自动模型选择 功能为你选择，通过平衡任务意图和模型健康状况来优化 token 效率。

多模型架构还解锁了框架级别的功能，而这是模型供应商的框架根本无法提供的。例如，Rubber Duck 采用跨模型系列评审机制，让一个模型审查另一个模型的工作，从而获得超越任何单一模型独立产出的结果。

基准测试只是衡量维度之一。我们持续致力于在基准测试、真实使用指标和在线实验等多个维度上提升质量，同时努力高效地充分利用每一个 token。

GitHub Copilot 通过其多模型架构，在多种配置下使用更少的 token，便能提供与领先的模型供应商工具相当的任务解决能力，而不会将你锁定在单一模型上。对于开发者而言，这意味着你可以用更低的 token 成本获得相当的任务完成效果，同时仍能选择最适合你任务的模型。

使用你所选择的模型试用 GitHub Copilot，在你每天处理的任务上比较不同的方法，看看不同的模型和代理策略在你的环境中表现如何。

同一套智能体运行框架为这些体验提供支持。我们正在持续改进其质量、效率和灵活性。

为了使比较尽可能可控和可重现，我们在不同的模型、任务和环境中以等效的设置运行每个智能体。

所有运行均设有两小时的超时限制。所有代理都以非交互式单轮模式运行，禁用 Web 工具，其余工具全部允许。

TerminalBench2 分析：为代理启用默认设置，推理强度设为中等（例如，Claude Code 启用了工具搜索，Copilot CLI 使用 github-mcp-server）。Codex 和 Claude Code 使用 Anthropic 和 OpenAI 的直接端点。为确保结果完整可靠，任何缺失数据或基础设施相关的故障都会重新运行，直到所有 89 个 TerminalBench2 任务都产生结果。模型生成的错误被保留，未从分析中排除。每个模型在五次独立运行中进行评估，Copilot 在两个单独的评估批次中进行测试，以便与 Claude Code 和 Codex 进行比较。

所有基准测试：所有智能体模型组合都规范化为相同的上下文窗口大小、相同的提示词令牌限制、推理强度（中等）和设置——不使用工具搜索，不使用 MCP 服务器。保留 harness 的默认内置工具。在各项基准测试中，所有智能体的基础设施相关异常和网络访问影响均被排除，以确保公平比较。为了减少运行间差异对较小基准测试（<100 个实例）的影响，进行了五次独立运行，并报告得分最高的运行结果。所有指标均以 pass@1 形式呈现。这些规范化意味着结果与公开的基准测试提交结果不同，后者通常使用更高的推理强度和其他调优设置。