众包软件测试技术研究进展-章晓芳 , 冯洋 , 刘頔 , 陈振宇 , 徐宝文.pdf

上善若水

352

20页

0次

2022-05-19

免费下载

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn

Journal of Software,2018,29(1):6988 [doi: 10.13328/j.cnki.jos.005377] http://www.jos.org.cn

众包软件测试技术研究进展





章晓芳

1,2

冯

洋

刘

頔

陈振宇

徐宝文

(苏州大学计算机科学与技术学院,江苏苏州 215006)

(计算机软件新技术国家重点实验室(南京大学),江苏南京 210023)

通讯作者: 章晓芳, E-mail: xfzhang@suda.edu.cn

摘要: 众包测试是一种新兴的软件测试方式,得到了学术界和工业界的广泛关注.系统地总结了近年来众包软

件测试研究的学术文献以及工业界实践进展:首先,从学术文献涉及的研究主题演变、涵盖的软件测试问题和众包

测试流程、采用的实验对象及测试人员规模等多个角度对相关文献中提出的技术和方法进行了汇总;然后,从测试

领域、测试对象、工人召集方式、绩效考核方式等方面分析对比了当前应用最广泛的 20 个众包测试商业平台;最

后,探讨了众包软件测试的未来发展趋势、机遇和挑战.

关键词: 软件工程;软件测试;众包;众包测试;众包平台

中图法分类号: TP311

中文引用格式: 章晓芳,冯洋,刘頔,陈振宇,徐宝文.众包软件测试技术研究进展.软件学报,2018,29(1):6988. http://www.jos.

org.cn/1000-9825/5377.htm

英文引用格式: Zhang XF, Feng Y, Liu D, Chen ZY, Xu BW. Research progress of crowdsourced software testing. Ruan Jian

Xue Bao/Journal of Software, 2018,29(1):6988 (in Chinese). http://www.jos.org.cn/1000-9825/5377.htm

Research Progress of Crowdsourced Software Testing

ZHANG Xiao-F ang

1,2

, FENG Yang

, LIU Di

, CHEN Zhen-Yu

, XU Bao-Wen

(School of Computer Science and Technology, Soo chow University, Su zhou 215006, China)

(State Key Laboratory for Novel Soft ware Technology ( Nanjing Univ ersity), Nanjing 210023, China)

Abstra ct : Crowdsourced software testing is an emerging testing method which has drawn extensive attention in both industrial and

academic community. This paper systematically summarizes the academic literatures and industry practice in recent years. This article

first summarizes the r elated literatures fro m the perspectives of the research topics including so ftware testing, cro wdsourcing test process,

experimental subjects and scale of crowdsourcing. It also compares total of 20 widely used crowdsourced software testing commercia l

platforms, and discusses their task domains, subjects, open call forms and performance evaluation forms. Finally, the paper presents the

future trends, issues and opportunit ies for crowdsourced software testing .

Key words: software engineering; software testing; crowdsourcing; crowdsourced testing; crowdsourced platform

正如著名的 Linus 定律所述,“只要足够多的眼球关注,就可让所有软件缺陷浮现”

[1]

.在软件产品的测试过程

中,软件产品管理者希望能够快速获得大量反馈,以尽快修复软件产品缺陷并改进软件产品质量.然而,招募/训

练测试人员的巨大成本往往使得召集大量专业测试人员变得困难.此外,由于软件产品的快速更迭,特别是移动

应用产品紧凑的生命周期,导致软件测试的周期被急剧压缩.因此,如何快速获得测试反馈,特别是大量真实用

 基金项目: 国家自然科学基金(61772263, 61772014, 61572375); 软件新技术与产业化协同创新中心资助

Foundation it em: National Natural Science Foundation of China (61772263, 61772014, 61572375); Collaborative Innovation Center

of Novel Software Technology and Industrialization

收稿时间: 2017-06-23; 修改时间: 2017-08-01; 采用时间: 2017-08-30; jos 在线出版时间: 2017-10-09

CNKI 网络优先出版: 2017-10-09 16:20:53, http://kns.cnki.net/kcms/d etail/11.2560.TP.20171009.1620.004.html

Journal of Software 软件学报 Vol.29, No.1, January 2018

户的反馈以帮助产品的改进,同时以较低成本高效地完成测试任务,是当前软件测试领域的困难之一.

众包技术(crowdsourci ng) 可以在极大程度上有效解决软件测试领域的这一难题.众包是互联网带来的一种

分布式问题解决和生产组织模式

[2]

,通过整合互联网上未知大众和机器来解决机器难问题.众包这一概念自

2006 年提出后,已经成功应用在人机交互、数据库、自然语言处理、机器学习和人工智能、信息检索、计算

机理论等学科领域

[39]

.在软件工程领域,众包技术也逐步应用于软件工程的各个环节中

[1013]

,特别是在软件测

试方面,大量在线工人参与完成测试任务,可以提供对真实应用场景和真实用户表现的良好模拟,测试周期短且

测试成本相对较低

[14]

.这些优点使得众包测试技术得到了学术界和工业界的广泛关注,广大研究人员密切关注

众包软件测试的理论和方法,同时也涌现了许多众包软件测试的商业平台.

目前,已有一些研究人员从不同角度对众包的相关研究工作进行了总结

[3,1520]

,重点讨论了众包的工作流

程以及众包技术的应用,特别地,Mao 等人对众包技术在软件工程中的应用进行了全面的概述

[11]

.在此基础上,

本文则重点关注众包技术在软件测试中的研究与实践进展:一方面,系统地收集了众包软件测试的相关学术文

献,并从研究主题演变、涵盖的软件测试关键问题和众包测试流程、采用的实验对象及测试人员规模等多个角

度对相关技术和方法进行了汇总;另一方面,针对当前应用最广泛的 20 个众包测试平台,从平台的测试领域、测

试对象、工人召集方式、绩效考核方式等方面展开了分析和对比.本文力求从学术研究进展和工业实践进展两

方面对众包测试技术进行全面的总结,并探讨众包测试技术的未来发展方向.

本文第 1 节描述众包及众包测试的背景知识.第 2 节系统地总结众包软件测试的相关文献.第 3 节则分析

主流的 20 个众包软件测试平台.第 4 节讨论众包软件测试的发展趋势、机遇和挑战.第 5 节对全文进行总结.

1 背景

1.1 众包

2006 年,Howe 首次提出众包的概念,定义“众包”是:“一个公司或机构把过去由专职员工执行的工作任务,

通过公开的 Web 平台,以自由自愿的形式外包给非特定的解决方案提供者群体,共同来完成的分布式问题求解

模式”

[2]

.随后,众多学者从不同的角度给出了众包的定义

[21]

,总体而言,众包的基本特征包括:采用公开的方式召

集互联网大众;众包任务通常是计算机单独很难处理的问题;大众通过协作或独立的方式完成任务;众包是一种

分布式的问题解决机制.

众包的主要参与者包括任务请求者和任务完成者(也称为众包工人),他们通过任务(task)联系到一起.众包

的工作流程包括任务准备、任务执行和任务答案整合这 3 个阶段.其中,

 任务准备阶段包括任务请求者设计任务、发布任务,工人选择任务;

 任务执行阶段包括工人接收任务、解答任务、提交答案;

 任务答案整合阶段则包括任务请求者接收或拒绝答案、整合答案

[3]

在众包工作流程中,众包任务的发布和答案的收集通常借助众包平台来完成.众包平台主要分为两大类:一

类是商用的众包平台;另一类是社交网络、论坛等社交平台.已有研究数据表明:商用众包平台的应用明显多于

社交平台

[3]

.早期的众包平台通常是指“问答系统”平台,如维基百科、百度知道等.近年来,由于早期众包平台所

支持的任务类型较为单一,已经无法适应当前数据类型的多样化与任务的复杂化,因此涌现了一批大型的在线

工作招募与任务分包管理平台,例如 Amazon Mechanical Turk(Mturk)、CrowdFlower 等.这些商用众包平台根据

任务请求者和任务完成者的不同需求提供相应的服务,不但带来了新的技术革命,更创造了巨大的市场经济

价值.

1.2 众包软件测试

在众包软件工程领域,研究人员已经提出了大量的相关应用技术和应用场景.近期,Mao 等人对众包软件工

程领域进行了全面的概述,涵盖了大量众包软件工程的文献和相关平台介绍,并给出了众包软件工程的定义如

下

[11]

:“众包软件工程是指由大量潜在的、未定义的在线工人以公开召集的形式,承担外部软件工程任务的行

of 20

免费下载

软件学报计算机技术

关注

评论