基于规则推理网络的分类模型-黄德根，张云霞，林红梅，邹丽，刘壮.pdf
免费下载
软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
Journal of Software,2020,31(4):10631078 [doi: 10.13328/j.cnki.jos.005920] http://www.jos.org.cn
©中国科学院软件研究所版权所有. Tel: +86-10-62562563
基于规则推理网络的分类模型
黄德根
1
,
张云霞
1
,
林红梅
2
,
邹
丽
2
,
刘
壮
1
1
(大连理工大学 计算机科学与技术学院,辽宁 大连 116024)
2
(辽宁师范大学 计算机与信息技术学院,辽宁 大连 116081)
通讯作者: 邹丽, E-mail: zoulicn@163.com
摘 要: 为了缓解神经网络的“黑盒子”机制引起的算法可解释性低的问题,基于使用证据推理算法的置信规则库
推理方法(以下简称 RIMER)提出了一个规则推理网络模型.该模型通过 RIMER 中的置信规则和推理机制提高网络
的可解释性.首先证明了基于证据推理的推理函数是可偏导的,保证了算法的可行性;然后,给出了规则推理网络的
网络框架和学习算法,利用 RIMER 中的推理过程作为规则推理网络的前馈过程,以保证网络的可解释性;使用梯度
下降法调整规则库中的参数以建立更合理的置信规则库,为了降低学习复杂度,提出了“伪梯度”的概念;最后,通过
分类对比实验,分析了所提算法在精确度和可解释性上的优势.实验结果表明,当训练数据集规模较小时,规则推理
网络的表现良好,当训练数据规模扩大时,规则推理网络也能达到令人满意的结果.
关键词: 规则推理;RIMER;可解释性网络;机器学习;不确定性分类
中图法分类号: TP181
中文引用格式: 黄德根,张云霞,林红梅,邹丽,刘壮.基于规则推理网络的分类模型.软件学报,2020,31(4):10631078. http:
//www.jos.org.cn/1000-9825/5920.htm
英文引用格式: Huang DG, Zhang YX, Lin HM, Zou L, Liu Z. Rule inference network model for classification. Ruan Jian Xue
Bao/Journal of Software, 2020,31(4):10631078 (in Chinese). http://www.jos.org.cn/1000-9825/5920.htm
Rule Inference Network Model for Classification
HUANG De-Gen
1
, ZHANG Yun-Xia
1
, LIN Hong-Mei
2
, ZOU Li
2
, LIU Zhuang
1
1
(School of Computer Science and Technology, Dalian University of Technology, Dalian 116024, China)
2
(School of Computer and Information Technology, Liaoning Normal University, Dalian 116081, China)
Abstra ct : The black-box working mechanism of artificial neutral network brings the confusion of interpretability. Therefore, a rule
inference network is proposed based on rule-base inference methodology using the evidential reasoning approach (RIMER). It is
interpretable by the rules and the inference engine in RIMER. In the present work, the partial derivatives of inference functions are proved
as the theoretical fundamental of the proposed model. The framework and the learning algorithm of rule inference network for
classification are presented. The feed forward of rule inference network using the inference process in RIMER contributes for the
interpretability. Meanwhile, parameters in belief rule base such as attribute weights, rule weights and belief degree of consequents are
trained by gradient descent as in neural network for belief rule base establishment. Moreover, the gradient is simplified by proposing the
“pseudo gradient” to reduce the learning complex during the training process. The experimental results indicate the advantages of
proposed rule inference network on both interpretability and learning capability. It shows that the rule inference network performs well
when the scale of the training dataset is small, and when the training data scale increases, it also achieves comforting results.
Key words: rule inference network; RIMER; interpretable network; machine learning; uncertainty classification
基金项目: 国家自然科学基金(61772250, U1936109, 61672127)
Foundation item: National Natural Science Foundation of China (61772250, U1936109, 61672127)
本文由“非经典条件下的机器学习方法”专题特约编辑高新波教授、黎铭教授、李天瑞教授推荐.
收稿时间: 2019-03-10; 修改时间: 2019-07-11; 采用时间: 2019-09-20; jos 在线出版时间: 2020-01-10
CNKI 网络优先出版: 2020-01-14 09:53:15, http://kns.cnki.net/kcms/detail/11.2560.TP.20200114.0953.005.html
1064
Journal of Software 软件学报 Vol.31, No.4, April 2020
分类问题是机器学习领域最常见的任务之一.很多分类方法,如 K-邻近算法、随机森林、支持向量机、
人工神经网络等在现实应用和学术研究中都取得了优异的成绩.尤其是随着大数据的发展,神经网络以其黑
盒表示的低可解释性为代价取得了优越的性能.然而,近年来,社会对算法可解释性的关注越来越多.欧盟 2018
年 5 月 25 日提出的《通用数据保护条例》规定所有算法解释其输出原理,保证数据隐私和算法公平性(欧洲联
盟.通用数据保护条例.2018.5.25);2017 年中国国务院在《新一代人工智能发展规划》中提出“实现具备高可解
释性,强泛化能力的人工智能”.政府对人工智能算法可解释性的关注对工业界产生了巨大的影响.为应对欧盟
《通用数据保护条例》的规定,Facebook 不得不将 15 亿用户数据从爱尔兰转移到非欧盟地区的美国;Google
公司发布《The Building Blocks of Interpretability》,探讨了如何结合特征可视化和其他可解释性技术来理解神
经网络如何决策.Google 公司还发布了一个建立在 DeepDream 上的神经网络可视化库 Lucid,作为研究神经网
络可解释性的一套基础架构和工具.随着政府和工业界需求的增加,可解释性人工智能正逐渐成为研究热点.
神经网络一直以来被广泛质疑的“黑盒子”机制在这样的环境下受到了巨大的挑战.神经网络参数学习的
不透明性,学习模型的不可解释性产生了很多的问题,例如,人们对机器学习模型的结果信心不足;对直观样本
学习能力较强,但对推理性知识的学习能力不足;对数据量的要求较高,不易纠错,会产
生“机器偏见”等等.文献
[1]指出,模型的可解释性可以帮助人们突破深度学习的几个瓶颈,例如,从少量注释中学习、在语义级别上通过
人机通信学习以及在语义上调试网络表示.
因此,关于神经网络解释性的研究日渐兴起.其中包括对神经网络结构本身进行分析解释的研究,文献[2]介
绍了一种新的多层神经网络的通用解释方法:分解网络分类决策到其输入元素所做贡献,该方法适用于广泛的
输入数据、学习任务和网络结构,称为深度泰勒分解,通过将解释从输出反向传播到输入层,有效地利用了网络
的结构.另外,还有结合其他算法对神经网络进行改进的研究,以缓解神经网络低解释性带来的问题.文献[3]为
了降低模型复杂度,实现模型的可解释性,采用分类规则提取方法对神经网络模型串联进行网格划分;层级相关
度传播(layer-wise relevance propagation,简称 LRP)技术作为可解释性的一种补救方法被引进到神经网络算法
中,在解释性和准确性上都取得了良好的表现,并在单次电脑信号分类领域得到了验证
[4,5]
;文献[6]为了将表示
空间与人类知识对齐,提出了一种 DNN,称为概念对齐深层神经网络(conceptual alignment deep neural network,
简称 CADNN), 它能够在隐含层中产生可解释的表示; 文献[7] 提出了一种基于本体的深度学习模型
(ontology-based deep learning model,简称 ORBM
+
),用于无向图和节点属性图的人类行为预测,不仅准确地预测
了人类行为,而且还对每个预测行为产生解释.
这些方法都从一定程度上缓解了神经网络的低解释性问题,但往往存在解释性或者准确性上的不足.因此,
对高性能的可解释性神经网络的探索尚未停止.鉴于不确定性推理具有较高可解释性的特点,不确定性推理和
神经网络相融合的方法是一个可行的、有效的探索方向.
在不确定环境中,信息具有多种类型的不确定性知识表示形式,如数值表示、语言值表示、偏好关系表示
等.传统的处理不确定知识的方法,例如,贝叶斯概率理论、证据理论和模糊集合理论等都只针对某一种特定类
型的不确定性环境.置信规则库(belief rule base,简称 BRB)系统是常见的知识表示框架,可以处理多种类型的不
确定性
[8]
.对规则库系统的研究有很多
[911]
,Yang 等人提出的基于证据推理方法的置信规则库推理方法(rule-
base inference methodology using the evidential reasoning,简称 RIMER)是一种基于置信规则库的近似推理方法,
通过置信度分布表示建立规则,处理不同类型的不确定性知识
[12]
.在 RIMER 中,知识和规则表示是通过 BRB 实
现的,其中有大量的专家给定参数,如前件属性权重、规则权重、后件置信度等,近似推理过程是基于证据推
理理论实现的.文献[13]证明 RIMER 不但可以以足够高的精度拟合确定性和随机性系统,而且可以处理确定
性和随机性数学模型不能表达的复杂不确定问题.因其能够处理多种类型的不确定性知识和非线性因果关系,
具有很大的应用潜力.RIMER 的相关研究已在创伤分诊预判
[14]
、研究开发项目风险评估
[15]
、加热器的热效率
优化系统
[16]
、故障诊断
[17]
等多个领域取得了丰硕的成果
[18]
.
对 RIMER 的研究主要包括对基础理论的扩展研究
[19]
和对规则库的自动生成的研究
[20,21]
.为了将 RIMER
推广到更一般的应用情况,文献[22]将置信度结构扩展到前件所有可能的先行词, 提出了扩展的 RIMER
of 16
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论