软件问答社区的问题删除预测方法-蒋竞，苗萌，赵丽娴，张莉.pdf

上善若水

12页

0次

2022-05-19

免费下载



软件问答社区的问题删除预测方法

蒋竞,苗萌,赵丽娴,张莉

(北京航空航天大学计算机学院,北京100191)

通信作者:张莉,lily@buaa.edu.cn

摘　要:StackOverflow是最受欢迎的软件问答社区之一,用户可以在该网站发布问题并得到其他用户的回答.为

了保证问题质量,网站需要尽快发现并删除低质量或者不符合社区主题的问题.当前,StackOverflow主要采用人

工检查的方式发现需要被删除的问题.然而这种方式往往不能保证问题被及时发现、删除,而且加重了社区管理

员的负担.为了快速发现需要删除的问题,提出了自动化预测问题删除的方法MulPredictor.该方法提取问题的语

义内容特征、语义统计特征和元特征,使用随机森林分类器计算问题会被删除的概率.实验结果表明:与现有方法

DelPredictor和NLPPredictor相比,MulPredictor的准确率在平衡测试集上分别提升了16.34%和12.78%,在随机

测试集上分别提升了12.38%和14.14%.此外,分析了影响问题删除的重要特征,发现代码段、问题的标题和正文

第1段的特征对问题删除有重要的影响.

关键词:问题删除预测;问题质量;问题分类;软件问答社区;StackOverflow

中图法分类号:TP311

中文引用格式:蒋竞,苗萌,赵丽娴,张莉.软件问答社区的问题删除预测方法.软件学报,2022,33(5):1699–1710.http://www.jos.

org.cn/1000-9825/6556.htm

英文引用格式:JiangJ,MiaoM,ZhaoLX,ZhangL.PredictionMethodforQuestionDeletioninSoftwareQuestionandAnswer

Community.RuanJianXueBao/JournalofSoftware,2022,33(5):1699–1710(inChinese).http://www.jos.org.cn/1000-9825/6556.htm

Prediction Method for Question Deletion in Software Question and Answer Community

JIANGJing,MIAOMeng,ZHAOLi-Xian,ZHANGLi

(SchoolofComputerScienceandEngineering,BeihangUniversity,Beijing100191,China)

Abstract:Stack Overflow is one of the most popular software question and answer communities, where users can post questions and

receive answers from others. In order to ensure the quality of questions, the website needs to promptly discover and delete questions with

low quality or not conforming to the community’s theme. Currently, Stack Overflow mainly relies on manual inspection to find questions

that need to be deleted. However, this way usually hardly guarantees to discover and delete questions in time, and increases the burden of

community administrators. In order to quickly find questions that need to be deleted, this study proposes a method to automatically predict

question deletion, which is named MulPredictor. This method extracts the semantic content features, the semantic statistical features and

the meta features of a question, and uses the random forest classifier to calculate the probability that it will be deleted. Experimental

results showed that, compared with existing methods DelPredictor and NLPPredictor, MulPredictor increases the accuracy by 16.34% and

12.78% on balanced test set, and increases the accuracy by 12.38% and 14.14% on random test set. In addition, this study also analyzes

important features in question deletion, and finds that the code segment, the question’s title, and the first paragraph of the question’s body

havethemostsignificantimpactsonquestiondeletion.

Key words:predictionofquestiondeletion;questionquality;questionclassification;softwarequestionandanswercommunity;StackOverflow



*

基金项目:科技创新2030-“新一代人工智能”重大项目(2018AAA0102304);国家自然科学基金(62177003);中央高校基本科研业务费

(YWF-20-BJ-J-1018)

本文由“领域软件工程”专题特约编辑汤恩义副教授、江贺教授、陈俊洁副教授、李必信教授以及唐滨副教授推荐.

收稿时间:2021-08-10;修改时间:2021-10-09;采用时间:2022-01-10;jos在线出版时间:2022-01-28



软件学报ISSN1000-9825,CODENRUXUEW E-mail:jos@iscas.ac.cn

Journal of Software,2022,33(5):1699−1710[doi:10.13328/j.cnki.jos.006556] http://www.jos.org.cn

在软件问答社区StackOverflow,用户可以发布或回答问题、对问题或回答进行投票、发表评论以及编辑问

题

[1−3]

.StackOverflow已经成为开发人员寻找软件开发相关问题解决方法的重要平台.为了帮助用户提出符合要

求的问题,StackOverflow提供明确、详细的提问指南.尽管如此,StackOverflow仍然存在低质量或者脱离主题的

问题,干扰用户的注意力,甚至导致用户流失

[4]

在StackOverflow,社区管理员或者高声誉用户人工查看并删除问题.但是这种人工方式往往不能保证问题被

及时发现、删除.Correa等人

[5]

研究发现,超过80%的问题在存活一个月后才会被删除.在未被删除的时间里,这

些问题会持续“污染”问题库,影响网站的整体问题质量.此外,Correa等人

[5]

的研究还表明,从2011年开始,高声

誉用户对问题删除工作的参与度逐渐下降,这导致社区管理员不得不承担更多的工作.由于目前StackOverflow

的用户基数呈指数级增长,问题数量也呈爆发趋势,社区管理员的工作负载一直在稳步增加

[6]

.因此,需要一种自

动预测问题删除的方法,既可以辅助社区管理员快速发现并删除不符合要求的问题,从而提高审核效率,减轻社区

管理员的负担;同时还能缩短删除问题的生存周期,有助于维持网站中的内容质量.

一些文献研究自动化预测被删除问题的方法.Correa等人

[5]

提出基于元特征的问题删除预测方法.Xia等人

[7]

结合元特征

[5]

和数字文本特征,使用分类算法预测问题删除.StackOverflow制定了一个详细的提问指南(Howdo

Iaskagoodquestion?http://stackoverflow.com/help/how-to-ask),指导用户提出符合要求的问题.提问指南的要求可

以指导设计问题删除预测方法.比如,提问指南强调标题的重要性,因此问题删除预测方法可以单独分析问题的标

题.参考提问指南,本文提出了一种基于多种特征的问题删除预测方法MulPredictor(multiplefeaturebased

predictor),提取问题的语义内容特征、语义统计特征和元特征

[5]

,使用随机森林分类器计算问题会被删除的概率.

为了评估其预测效果,本文从2018年11月16日–2018年12月31日期间发布的问题中,随机抽取各10000个被

删除问题和未被删除问题组成平衡测试集,并且随机抽取20000个问题组成随机测试集,然后分别在两个测试集

上比较MulPredictor与对比方法DelPredictor

[7]

和NLPPredictor

[8]

的预测效果.实验结果表明,MulPredictor与两种

对比方法相比,预测的准确率在平衡测试集上分别提升了16.34%和12.78%,在随机测试集上分别提升了12.38%

和14.14%.此外,本文还分析特征重要性并进行解释,指导用户提问.

本文的贡献主要在以下两方面.

1)提出了一种软件问答社区的问题删除预测方法MulPredictor.该方法不仅考虑元特征

[5]

,还考虑了语义内容

特征和语义统计特征.为了分析问题语义是否符合主题,语义内容特征统计问题和已被删除问题、已保留问题的

主题是否相似.语义统计特征考虑问题的可阅读性和可理解性,统计问题标题、正文等不同文本段的音节数、

flesch易读性指数、文化水平等级等.MulPredictor相比目前最好的同类方法

[7,8]

,具有更准确的预测效果.

2)发现了影响问题删除的重要特征,指导用户提问.例如,本文发现代码段长度是重要特征,因此建议用户在

提问时详细地给出代码信息;此外还发现标题中单词的平均长度也是一个重要因素.建议用户在撰写问题标题时

尽量选择较为简短的单词,以便于他人理解.



1 研究背景

StackOverflow是目前最热门的软件问答社区之一.从2008年投入使用以来至2020年10月12日,Stack

Overflow已经积累了超过2020万个问题、3030万个答案以及1320万个注册用户,平均每月有2.621亿访问量.

目前,StackOverflow越来越受到软件工程、人机交互、社会计算、数据挖掘等不同研究领域的关注

[9−14]

研究人员通过研究StackOverflow库了解开发问题和编程主题趋势等

[15−17]

StackOverflow使用基于社区的声誉奖励机制.如果用户发布了错误的答案或者类似垃圾邮件或广告的低质

量问题,就会导致声誉值降低;相反,如果用户提出高质量的问题或给出高质量的回答,就会为其赢得声誉.虽然声

誉机制引导用户发布高质量内容,但仍然存在大量低质量或者脱离主题的问题.因此,StackOverflow采用人工方

式删除问题.社区管理员可以直接删除问题.声誉值超过10000的用户可以投票删除问题.这种人工删除低质量

问题的方法可以有效地维护网站内容质量,然而这种方式既会导致不合格问题存活时间过长,还因为需要社区管

理员的参与而加重了社区管理员的负担.

1700 软件学报2022年第33卷第5期

of 12

免费下载

软件学报计算机技术

关注