对软件工程中经验研究的调查-张莉 , 蒲梦媛 , 刘奕君 , 田家豪 , 岳涛 , 蒋竞.pdf
免费下载
软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
Journal of Software,2018,29(5):1422−1450 [doi: 10.13328/j.cnki.jos.005520] http://www.jos.org.cn
©中国科学院软件研究所版权所有. Tel: +86-10-62562563
对软件工程中经验研究的调查
∗
张
莉
1,2
,
蒲梦媛
1
,
刘奕君
1
,
田家豪
2
,
岳
涛
3
,
蒋
竞
2
1
(北京航空航天大学 软件学院,北京 100191)
2
(北京航空航天大学 计算机学院,北京 100191)
3
(Simula Research Laboratory, University of Oslo, Norway)
通讯作者: 蒋竞, E-mail: jiangjing@buaa.edu.cn
摘 要: 为了描述、理解、评估、预测、控制、管理或者改善与软件相关的内容,研究者常常使用经验研究的方
法.经验研究在软件工程领域已经得到广泛的应用并备受关注.为了了解近年来软件工程中经验研究的特点,并希望
经验研究方法为更多研究者所了解,通过系统映射的方法,对软件工程中经验研究的典型期刊《Empirical Software
Engineering》(ESE)近 5 年的论文做了调研,搜集了 2013 年 1 月~2017 年 6 月发表在该期刊的 250 篇论文.通过定性
和定量的分析,给出了软件工程领域采用经验研究的主要目的、常用的经验研究方法以及这些方法在软件工程各
个领域中的使用情况和呈现的一些新特征.之后,分析了经验研究的主要数据来源、采集手段、常用的数理统计方
法以及开源项目在经验研究中的使用情况等,给出了研究者对有效性和可重现性问题的关心程度.最后进行了有效
性分析,并进一步探讨了经验研究的发展方向和大数据时代下经验研究面临的机遇和一些开放性问题.
关键词: 经验方法;文献调研;经验软件工程
中图法分类号: TP311
中文引用格式: 张莉,蒲梦媛,刘奕君,田家豪,岳涛,蒋竞.对软件工程中经验研究的调查.软件学报,2018,29(5):1422−1450.
http://www.jos.org.cn/1000-9825/5520.htm
英文引用格式: Zhang L, Pu MY, Liu YJ, Tian JH, Yue T, Jiang J. Investigation of empirical researches in software engineering.
Ruan Jian Xue Bao/Journal of Software, 2018,29(5):1422−1450 (in Chinese). http://www.jos.org.cn/1000-9825/5520.htm
Investigation of E mpirical Researches in So ftware Engineering
ZHANG Li
1,2
, PU Meng-Yuan
1
, LIU Yi-Jun
1
, TIAN Jia-Hao
2
, YUE Tao
3
, JIANG Jing
2
1
(School of Software, BeiHang University, Beijing 100191, China)
2
(School of Computer Science, BeiHang University, Beijing 100191, China)
3
(Simula Research Laboratory, University of Oslo, Norway)
Abstra ct : To depict, understand, evaluate, predict, control, manage or enhance software-related artifacts, researchers and practitioners
often rely on empirical methods. Empirical methods have been widely used in software engineering, and they are attracting increasing
attention over the years. By conducting a systematic mapping, this paper aims to provide a literature survey of 250 papers published in a
typical journal—Empirical Software Engineering, from January 2013 to June 2017. With qualitative and quantitative analysis, this survey
reveals the commonly used empirical research methods, research purposes, and the application of the methods in subfields of software
engineering, including the solved problems and some new features. The findings also cover the use of open source projects, data source,
data collection methods and commonly used mathematical statistics methods. Finally, this paper illustrates validity threats and discusses
the future work, opportunity and some open issues of empirical research in the era of big data.
∗ 基金项目: 国家自然科学基金(61672078)
Foundation item: National Natural Science Foundation of China (61672078)
收稿时间: 2017-09-28; 修改时间: 2017-11-07; 采用时间: 2017-12-05; jos 在线出版时间: 2018-01-09
CNKI 网络优先出版: 2018-01-11 17:25:06, http://kns.cnki.net/kcms/detail/11.2560.TP.20180111.1724.018.html
张莉 等:对软件工程中经验研究的调查
1423
Key words: empirical method; literature survey; empirical software engineering
经验研究方法(empirical research method,也译为实证研究方法)在物理学、医学、心理学以及社会科学等
其他领域已经得到了广泛应用
[1]
.1986年,Basili等人
[2]
率先将实验方法引入软件工程,开启了软件工程经验研究
的先河.从此,经验软件工程(empirical software engineering)作为软件工程的子领域开始受到关注.10 年后,1996
年,Basili 等人
[3]
在一篇综述文献中探讨了软件工程学科作为“实验学科”的本质.2005 年,Kitchenham 等人
[4]
提出
了基于证据的软件工程,尤其是给出了系统文献综述的方法.近年来,几乎所有 ICSE,ESEC/FSE 和 EMSE 等期刊
都有涉及经验研究的论文
[5]
.2016 年,在美国奥斯丁举办的 ICSE(Int’l Conf. of Software Engineering)上,程序委
员会宣布:在被录用的论文中,有关经验研究的论文共 32 篇,高居榜首.
随着经验研究方法的广泛应用,经验研究受到软件工程领域的广泛关注,越来越多的高校开始开设经验软
件工程课程,中国计算机学会(CCF)软件工程专委会成立了经验软件工程学组,并于 2016 年完成了关于经验软
件工程的第一本译著
[6]
.但与此同时,经验研究也受到一些质疑:首先,中英文翻译面临的问题,中文中“经验”多
少带有一些主观的色彩;而维基百科中对 Empirical Reseach 的解释,更强调其客观性,指出“它是一种直接或间
接地通过观察或者实验获得知识的方法”.物理学、医学等学科往往采用经验研究方法去探索未知和验证假设.
那么,在软件工程领域,研究者们往往采用经验研究方法解决什么问题呢?采用了哪些常用的经验研究方法?这
些方法在软件工程各个子领域的使用是否存在领域显著性?实验数据真的大部分都是学生做的“玩具”系统吗?
随着开源社区的流行,开源数据在经验研究中所占比例确实越来越大吗?有多少研究来自工业界的真实案例?
经验研究的有效性和可重现性作为经验研究的重要特性,是否得到了研究者的充分重视?这一系列问题,促使我
们对软件工程中经验研究的现状进行一个较为系统的调研,从而为大家理解和使用软件工程经验研究方法提
供帮助.
该调研面临的第 1 个问题是文章的收集和挑选问题.考虑到目前存在大量的经验研究论文分散在不同方
向的期刊,难以一一搜集分析;同时,目前还不存在一个标准可以客观地界定一篇论文是否是经验研究论文(我
们曾对 ICSE 2016 的论文进行标注,发现不同人员标注的结果并不一致).Basili 等人在 1996 年创办的经验软件
工程学术期刊《Empirical Software Engineering》(ESE)作为一种针对经验研究的软件工程期刊,比较有代表性.
该期刊 20 多年间共发表了 802 篇论文(数据来源:E
SE 期刊官网 http://link.springer.com/journal/10664),如图 1
所示.从图中可以看出,2013 年之后,论文数量呈快速上升趋势.2016 年,ESE 进入科学期刊 JCR Quartile 1(Q1)分
区,其影响因子(journal impact factor)达到 3.275,在 Computer Science,Software Engineering 类别中的排名为
7/106.为此,我们收集了 ESE 在 2013 年 1 月~2017 年 6 月共 250 篇论文,作为经验软件工程代表性论文,对其进
行分析整理,以期得到一些定性和定量的分析结论,为软件工程的研究者和实践者更好地了解和学习经验软件
工程提供帮助.
Fig.1 From 1996 to 2016 the number of ESE journal articles per year
图 1 1996 年~2016 年的 ESE 期刊每年的文章数量
本文第 1 节提出研究问题.第 2 节阐述研究方法.第 3 节根据研究问题,对经验调查的结果进行分析.第 4 节
of 29
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论