
在衡量和追求 GitHub Copilot 的高效时,首先要思考的问题是:高效意味着什么?
有研究表明,开发者对高效生产力的看法正在发生变化——他们更关注于能否在工作中度过美好的一天——集中精力完成手头任务,取得有意义的进展,并在一天结束时感到满足。显然,传统的生产力观念(产出高于投入)并不足以衡量开发者的生产力。
GitHub Next 与微软首席经济学家办公室对2,000多名开发者进行了观察和访谈,并使用了 SPACE 生产力框架,从定性(感知)和定量(数据)两方面进行调查研究。

SPACE 五维框架
全面衡量开发者的生产力
AI 辅助开发是一个相对较新的领域,很少有历史研究可供参考。本次调查在设计研究方法时遵循以下三个原则:
🔵 运用 SPACE 生产力框架
SPACE 是多维框架的首字母缩写,描述了开发者生产力的几个方面:(1) 满意度和幸福感 Satisfaction and well-being;(2) 表现 Performance;(3) 活跃 Activity;(4) 沟通与协作 Communication and collaboration;以及(5) 效率和流畅度 Efficiency and flow。
🔵 定性(感知)+ 定量(数据)
从开发者第一手观点出发,进行多轮研究,并结合定性(感知)和定量(数据)方法,验证遥测数据是否与用户的实际体验相一致、定性反馈是否适用于庞大的用户群体。
🔵 围绕日常开发场景中的典型任务设计测试
在招募测试人员时,特别侧重招募专业开发者(约60%),并围绕开发者在典型工作内可能执行的任务设计测试,目的是评估 GitHub Copilot 在日常开发场景中的实际效果。

岂止于速
75%的开发者幸福感得到提升
根据用户反馈,60%到75%的开发者表述,使用 GitHub Copilot 后,他们在工作中感到更有成就,减少了编码时的挫败感,能够更专注于工作本身。
开发者表示,GitHub Copilot 帮助他们在处理重复性工作时保持流畅(73%)并能减轻认知负担(87%)。这对开发者来说非常重要,因为频繁的上下文切换和干扰很可能打乱他们的工作流程,且某些类型的工作令他们感到筋疲力尽。

📊 使用 GitHub Copilot 的开发者生产力维度调查(根据 SPACE 框架制定)
开发者将 GitHub Copilot 视为提高生产力的辅助工具,但它的作用远不止于此。一位用户描述了整体体验:
“(使用 Copilot)我不必考虑太多,我真正需要思考的则是那些有趣的事情。它可以在我的脑海里点燃一束小火花,使编码更有趣、更高效。”
——高级软件工程师
我们的定性调查得出的结论是,让 GitHub Copilot 来承担开发工作中枯燥和重复的任务,减少认知负担。这为开发者节省出更多空间,让他们有余力处理复杂的问题,从而获得更多的幸福感和满足感。

速度也很重要
55%的编码速度提升
在调查中,开发者表示,使用 GitHub Copilot 完成任务的速度更快,特别是在执行重复性任务时。这是意料之中的结果(毕竟 GitHub Copilot 的写入速度比人更快),但超过90%的认可度还是令人惊喜。我们能否在实践中观察和测量这种效果呢?为此,我们进行了一次对照实验。

📝 上图为实验过程和结果摘要
我们招募了95名专业开发者,将他们随机分为两组,并计算他们用 JavaScript 编写 HTTP 服务器所需的时间。一组使用 GitHub Copilot 完成任务,另一组不使用。我们最大程度控制了尽可能多的影响因素——所有开发者都非常熟悉 JavaScript,为此我们为每个人提供了相同的指示,并利用 GitHub Classroom 通过测试套件对提交内容的正确性和完整性进行自动评分。
在实验中,我们计算了每组完成任务的成功率并求平均,以及每组完成任务所需的时间。
🔵 使用 GitHub Copilot 的小组完成任务的成功率更高(78%,而未使用 Copilot 的小组为 70%)。
🔵 显著的差异在于使用 GitHub Copilot 的开发者完成任务的速度明显更快——比没有使用 GitHub Copilot 的开发者快55%。
具体来说,使用 GitHub Copilot 的开发者平均花费 1小时11分钟完成任务,而没有使用 GitHub Copilot 的开发者平均花费 2小时41分钟完成任务。
GitHub Copilot 致力于为开发者构建软件提供支持——包括更高效地工作,并在工作中获取更多满足感。这些优势正成为 IT 领导者的重要考虑因素。
“工程师们在从事前沿工作时所获得的满意度,以及我们能够提供什么前沿工具对我来说很重要。GitHub Copilot 正是我所需要的。”
——大型工程机构的首席技术官

🚀 敬请关注 Azure 云科技「GitHub Copilot 影响研究」专栏。
💡 GitHub Copilot 开发者生命周期经济影响研究、代码质量研究等系列文章即将陆续推出。






