2019一种面向中小规模数据集的模糊分类方法-周塔 , 邓赵红 , 蒋亦樟 , 王士同.pdf
免费下载
软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
Journal of Software,2019,30(12):3637−3650 [doi: 10.13328/j.cnki.jos.005590] http://www.jos.org.cn
©中国科学院软件研究所版权所有. Tel: +86-10-62562563
一种面向中小规模数据集的模糊分类方法
∗
周
塔
1,2
,
邓赵红
1
,
蒋亦樟
1
,
王士同
1
1
(江南大学 数字媒体学院,江苏 无锡 214122)
2
(江苏科技大学 电子信息学院,江苏 张家港 215600)
通讯作者: 周塔, E-mail: jkdzhout@just.edu.cn
摘 要: 虽然 Takagi-Sugeno-Kang(TSK)模糊分类器在一些重要场合已经取得了广泛应用,但如何提高其分类性
能和增强其可解释性,仍然是目前的研究热点.提出一种随机划分与组合特征且规则具有高可解释性的深度 TSK 模
糊分类器(RCC-DTSK-C),但和其他分类器构造不同的是:(1) RCC-DTSK-C 由很多基训练单元构成,这些基训练单
元可以被独立训练;(2) 每一个基训练单元的隐含层通过模糊规则的可解释性来表达,而这些模糊规则又是通过随
机划分、随机组合来进行特征选择的;(3) 基于栈式结构理论,源数据集作为相同的输入空间被映射到每一个独立
的基训练单元中,这样就有效地保证了源数据的所有特征在每一个独立的训练单元中都得以保留.实验结果表明,
RCC-DTSK-C 具有良好的分类性能和可解释性.
关键词: Takagi-Sugeno-Kang(TSK);随机模糊划分;特征组合;可解释性;深度学习;栈式结构
中图法分类号: TP18
中文引用格式: 周塔,邓赵红,蒋亦樟,王士同.一种面向中小规模数据集的模糊分类方法.软件学报,2019,30(12):3637−3650 .
http://www.jos.org.cn/1000-9825/5590.htm
英文引用格式: Zhou T, Deng ZH, Jiang YZ, Wang ST. Fuzzy classification method for small- and medium-scale datasets. Ruan
Jian Xue Bao/Journal of Software, 2019,30(12):3637−3650 (in Chin ese). h ttp://www.jos .org.cn/1000-9825/5590 .htm
Fuzzy Classi fication Me thod for Small- and Me dium- scale Datase ts
ZHOU Ta
1,2
, DENG Zhao-Hong
1
, JIANG Yi-Zhang
1
, WANG Shi-Tong
1
1
(School of Digital Media, Jiangnan University, Wuxi 214122, Chin a)
2
(School of Electronics and Information, Jiangsu University of Science and Technology, Zhangjiagang 215600, China)
Abstra ct : Although Takagi-Sugeno-Kang (TSK) is widely used in practically every profession, how to enhance its classification
accuracy and interpretability is still a research focus. In this study, a deep TSK fuzzy classifier is proposed. This classifier (i.e., RCC-
DTSK-C) can randomly select features and combine features and own triplely concise interpretability for fuzzy rules. There are several
other varieties of RCC-DTSK-C such as reasonable structure for rule representation, namely, (1) the proposed RCC-DTSK-C consists of
many base-training units and each base-training unit can be trained independently. According to the principle of stacked generalization,
the input of the next base-training unit consists of the training set and random result obtained from random projections about prediction
results of current base-training unit. (2) In RCC-DTSK-C, the hidden layer of each base-training unit is represented by triplely concise
interpretable fuzzy rules which are in the sense of randomly selected features. These features are selected by dividing into the not-fixed
several fuzzy partitions and randomly combining rules and keeping the same input space in every base-training unit. (3) The source data
set is mapped into each of the independent base-training units as the same input space, which effectively ensures that all the features of
the source data are preserved in each separate training unit. The extensive experimental results show RCC-DTSK-C can achieve the
enhanced classification performance and triplely concise interpr etability for fuzzy rules.
∗ 基金项目: 国家自然科学基金(61772239, 61702225, 61572236, 61711540041)
Foundation item: National Natural Science Foundation of China (6177223 9, 61702225, 61572236, 617 11540041)
收稿时间: 2017-0 9-17; 修改时间: 2018-04-16; 采用时间: 2018-04-23; jos 在线出版时间: 2019-01-21
CNKI 网络优先出版: 2019-01-22 13:49:03, http://kns.cnki.net/kcms/d etail/11.2560.TP.20190122.1348.011.html
3638
Journal of Software 软件学报 Vol.30, No.12, December 2019
Key words: Takagi-Sugeno-Kang (TSK); random partition; featur e combination; interpretabi lity; d eep learning; stack ed structur e
模糊系统作为智能计算领域的一个及其重要的研究分支,由于其自身较强的可解释性和学习能力而被广
泛地应用到多个领域
[1,2]
.Taka gi-Sugeuo -Kan g(TSK) 模糊系统由于其输出的简洁性,其训练过程通常可以转化为
二次规划问题或者线性回归问题进行求解,这就使得 TSK 模型比其他模型训练过程更迅捷、更高效.同时,因其
较好的逼近性能而被应用到多个领域,比如模式识别、图像处理和数据挖掘等
[3,4]
.模糊系统是根据模糊集和模
糊推理理论而形成的智能系统,它主要是把自然界的模糊语言向模糊规则进行转换.正是凭借这一特性,模糊系
统在日常生活中仍被广泛使用.目前,已经建立或者识别的 TSK 模糊分类器大致可分为以下几种:基于遗传算法
的 TSK 模糊分类器、基于神经-模糊混合的 TSK 模糊分类器和类似层次状的 TSK 模糊分类器.对于遗传算法
的 TSK 模糊分类器而言,它主要是模仿人类的进化过程去构造结构和识别参数.典型工作包括基于 TSK 模糊分
类器的多目标遗传算法,该算法将规则选择问题转化为多目标的组合优化问题.对于神经-模糊混合的 TSK 模糊
分类器,它主要是把人工神经网络和模糊系统进行组合.典型的工作包括基于 TSK 模糊分类器的 BP 神经网络,
这类工作主要是通过 BP 神经网络和 BP 算法混合而成,用来训练分类器和 SVM 的相关参数.这类的工作可以
参考文献[1,5−8].而对于类似层次状的 TSK 模糊分类器,主要包括具有层次模糊系统和具有全局逼近性能的模
糊系统.关于这类算法及其改进算法可以参考文献[9−15].这 3 类 TSK 模糊分类器都不可避免地遇到这样的挑
战:(1) 当输入的样本维数过高时,会出现维数灾难;(2) 在 TSK 模糊系统中,不恰当的模糊划分在某种程度上也
会影响模糊规则意义的表达;(3) 训练完模糊系统后的修整技术在某种程度上会去除一些不合理的模糊划分,
但是这种后续处理方法势必也影响了分类的精度.
我们所提出的模糊分类器 RC
C-DTSK-C 类似于层次状的 TSK 模糊分类器,但是有本质的区别,它能有效地
避免 TSK 模糊分类器所面临的巨大挑战.这一点在文后有详细的报道.
深度学习理论已经成为当前研究的热点,它在很多领域都取得了成功
[16−27]
.我们知道,深度结构能够快速而
有效地捕获源数据中的细节,而恰好这些细节有时候却能更好地表达可解释性.
本文利用栈式结构
[28]
构造深度 TSK 模糊分类器来学习模糊规则,以提高分类性能.深度结构能够估算 TSK
模糊分类器的预测误差,栈式结构可以帮助我们解决困难的非凸优化问题,而这些问题也正是深度学习要解
决的.
本文基于以下几种考虑构造了可解释性很强的 TSK 模糊分类器.
(1) 模糊划分数不确定,完全随机生成,比如随机生成 3 个模糊划分,对应高斯隶属函数中心点为[0,0.5,1],
其语义表示为{差,中等,好};再如随机生成 5 个模糊划分,对应高斯隶属函数中心点为[0,0.25,0. 5,0. 75,
1],其语义表示为{很差,差,中等,好,非常好};
(2) 随机选取源数据集中的部分或者大部分特征数据;
(3) 每个基训练单元中的模糊分类器拥有相同的输入空间;
(4) 由于 0 阶 TSK 模糊分类器的输出结果是常数,对于系统易于分析和表达,本文将以 0 阶 TSK 模糊系
统为基础训练模型,探讨随机模糊划分和规则组合的深度 0 阶 TSK 模糊系统的建模方法.
1 Takagi-Suge no -Kang 模糊系统
1.1 经典TSK模糊系统
根据文献[1], 经典模糊系统主要有 Tak agi -S ugeno -Ka ng 模糊系统(TSK-FS)、Mamdani-Larsen 模糊系统
(ML-FS)
[1]
和广义模糊系统(GFM)
[1]
这 3 种.对于经典 TSK-FS 而言,其模糊规则表示为
0
12
1
12
1
If is is ... is
() ... , 1Then ,2,...,
kk k
dd
kk kk k
dd
xAx A x
yf ppx px K
A
k=
⎫
∧∧
=+ +
∧
=
⎪
+
⎪
⎬
⎭
x
(1)
这里,x=[x
1
,x
2
,…,x
d
]
T
为输入向量,
k
i
A
表示第 i 个输入变量 x
i
所对应的第 k 条规则描述的模糊子集,K 代表模糊规
of 14
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论