拉普拉斯多层极速学习机-丁世飞 , 张楠 , 史忠植.pdf

上善若水

12页

0次

2022-05-20

免费下载

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn

Journal of Software,2017,28(10):25992610 [doi: 10.13328/j.cnki.jos.005128] http://www.jos.org.cn

拉普拉斯多层极速学习机





丁世飞

1,2

张

楠

1,2

史忠植

(中国矿业大学计算机科学与技术学院,江苏徐州 221116)

(中国科学院计算技术研究所智能信息处理重点实验室,北京 100190)

通讯作者: 丁世飞, E-mail: dingsf@cumt.edu.cn

摘要: 极速学习机不仅仅是有效的分类器,还能应用到半监督学习中.但是,半监督极速学习机和拉普拉斯光滑

孪生支持向量机一样,是一种浅层学习算法.深度学习实现了复杂函数的逼近并缓解了以前多层神经网络算法的局

部最小性问题,目前在机器学习领域中引起了广泛的关注.多层极速学习机(ML-ELM)是根据深度学习和极速学习

机的思想提出的算法,通过堆叠极速学习机-自动编码器算法(ELM-AE)构建多层神经网络模型,不仅实现了复杂函

数的逼近,并且训练过程中无需迭代,学习效率高.把流形正则化框架引入 ML-ELM 中,提出拉普拉斯多层极速学习

机算法(Lap-ML-ELM).然而,ELM-AE 不能很好地解决过拟合问题.针对这一问题,把权值不确定引入 ELM-AE 中,

提出权值不确定极速学习机-自动编码器算法(WU-ELM-AE),可学习到更为鲁棒的特征.最后,在前面两种算法的基

础上提出权值不确定拉普拉斯多层极速学习机算法(WUL-ML-ELM),它堆叠 WU-ELM-AE 构建深度模型,并用流形

正则化框架求取输出权值.该算法在分类精度上有明显提高并且不需花费太多的时间.实验结果表明,Lap-ML-ELM

与 WUL-ML-ELM 都是有效的半监督学习算法.

关键词: 极速学习机;半监督学习;多层极速学习机;流形正则化;权值不确定

中图法分类号: TP181

中文引用格式: 丁世飞,张楠,史忠植.拉普拉斯多层极速学习机.软件学报,2017,28(10):25992610. http://www.jos.org.cn/

1000-9825/5128.htm

英文引用格式: Ding SF, Zhang N, Shi ZZ. Laplacian multi layer extreme learning machine. Ruan Jian Xue Bao/Journal of

Software, 2017,28(10):25992610 (in Chinese). http://www.jos.org.cn/1000-9825/5128.htm

Laplacian Multi Layer Extreme Learning Machine

DING Shi-Fei

1,2

, ZHANG Nan

1,2

, SHI Zhong-Zhi

(School of Computer Science and Technology, China University of Mining and Technology, Xuzhou 221116, China)

(Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, The Chinese Academy of Sciences, Beijing

100190, China)

Abstract: Extreme learning machine (ELM) not only is an effective classifier in supervised learning, but also can be applied on

semi-supervised learning. However, semi-supervised ELM (SS-ELM) is merely a surface learning algorithm similar to Laplacian smooth

twin support vector machine (Lap-STSVM). Deep learning has the advantage of approximating the complicated function and alleviating

the optimization difficulty associated with deep models. Multi layer extreme learning machine (ML-ELM) has been developed according

to the idea of deep learning and extreme learning machine, which stacks extreme learning machines, based auto encoder (ELM-AE) to

create a multi-layer neural network. ML-ELM not only approximates the complicated function but also avoids the need to iterate during

 基金项目: 国家自然科学基金(61672522, 61379101); 国家重点基础研究发展计划(973)(2013CB329502)

Foundation item: National Natural Science Foundation of China (61672522, 61379101); National Key Basic Research Program of

China (973) (2013CB329502)

收稿时间: 2015-06-03; 修改时间: 2015-11-23; 采用时间: 2016-05-25; jos 在线出版时间: 2016-10-11

CNKI 网络优先出版: 2016-10-12 16:26:37, http://www.cnki.net/kcms/detail/11.2560.TP.20161012.1626.006.html

2600

Journal of Software 软件学报 Vol.28, No.10, October 2017

training process, exhibiting the merits of high learning efficiency. In this article, manifold regularization is introduced into the model of

ML-ELM and a Laplacian ML-ELM (Lap-ML-ELM) is put forward. Furthermore, in order to solve the over fitting problem with ELM-AE,

weight uncertainty is brought into ELM-AE to form a weight uncertainty ELM-AE (WU-ELM-AE) which can learn more robust features.

Finally, a weight uncertainty Laplacian ML-ELM (WUL-ML-ELM) is proposed based on the above two algorithms, which stacks

WU-ELM-AE to create a deep network and uses the manifold regularization framework to obtain the output weights. Lap-ML-ELM and

WUL-ML-ELM are more efficient than SS-ELM in classification and do not need to spend too much time. Experimental results show that

Lap-ML-ELM and WUL-ML-ELM are efficient semi-supervised learning algorithms.

Key words: extreme learning machine; semi-supervised learning; multi layer extreme learning machine; manifold regularization; weight

uncertainty

极速学习机(extreme learning machine,简称 ELM)是 Huang 等人提出的高效、简洁的单隐层前馈神经网络

的学习算法

[1,2]

.ELM 只需要设定网络的隐层节点数,并且不需要调整网络的输入权值以及隐层的偏置,只需要

学习一次就可得到唯一的最优解,所以 ELM 具有学习速度快、泛化性能好的优点.许多学者研究 ELM 在分类

和回归上的应用

[35]

.邓万宇等人结合结构风险最小化理论提出了正则化极速学习机(regularized ELM,简称

RELM)

[6]

.Zong 等人针对非均衡数据提出了加权极速学习机(weighted ELM,简称 WELM)

[7]

.Huang 等人结合流

形正则化提出了半监督极速学习机(semi-supervised ELM,简称 SS-ELM)

[8]

,给极速学习机注入了新的活力.还有

不少学者从理论上证明了极速学习机的可行性

[9,10]

半监督学习是机器学习的热点之一,目前的半监督学习算法大致可划分为 3 类:基于聚类假设的算法

[11]

、

基于协同训练的算法

[12]

、基于图正则化框架的算法

[13]

.基于图模型的半监督学习算法是半监督学习的一个热

点,流形正则化(manifold regularization,简称 MR)是常用的图正则化框架.拉普拉斯光滑孪生支持向量机

[14]

和

SS-ELM都是基于 MR 的半监督学习算法,但它们都是浅层学习算法.深度学习是一种多隐层多层感知器的人工

神经网络学习算法, 实现复杂函数的逼近并缓解了以前多层神经网络算法的局部最小性问题

[15,16]

.2006

年,Hinton 等人首次提出深度学习的概念,提出多层自动编码器深层结构

[17]

.LeCun 等人提出卷积神经网络

(CNNs)

[18]

.后来,深度置信网(DBNs)

[19]

和堆叠自动编码器(SAE)

[20]

相继被提出.2013 年,Huang 等人结合 ELM 和

深度学习的概念提出多层极速学习机算法(multi layer-ELM,简称 ML-ELM)

[21]

.ML-ELM 通过堆叠极速学习机-

自动编码器算法(ELM-AE)构建多层神经网络模型,它不仅具有深度学习的优点,还有较快的学习速度.

我们把流形正则化框架引入 ML-ELM,提出拉普拉斯多层极速学习机算法(Laplacian ML-ELM,简称 Lap-

ML-ELM).Lap-ML-ELM 把标记样本和未标记样本一起训练,利用极速学习机-自动编码器算法(ELM-AE)逐层

训练,得到隐层上的权值,最后,用流形正则化框架求取输出权值.然而,ELM-AE 不能很好地解决神经网络中常

见的过拟合问题.权值不确定(weight uncertainty)是一种解决过拟合问题常用的方法

[22]

,其把权值矩阵看作随机

变量.例如,每层权值矩阵中的随机变量可用具有相同均值与方差的高斯分布表示,这样,一个网络可以看作是

许多子网络的集合.我们可以把权值不确定应用到 ELM-AE 中去,把 ELM-AE 的输入权值看作符合高斯分布的

随机变量,这样可以得到一组与每个输入权值对应的输出权值,我们把这种算法称作权值不确定极速学习机-自

动编码器算法(weight uncertainty ELM-AE,简称 WU-ELM-AE).我们把 WU-ELM-AE 引入 Lap-ML-ELM 算法模

型,提出权值不确定拉普拉斯多层极速学习机算法(weight uncertainty Laplacian ML-ELM,简称 WUL-ML-

ELM).它利用 WU-ELM-AE 的输出权值的均值逐层确定 Lap-ML-ELM 的输入权值和隐层间的权值,输出权值还

是通过用流形正则化框架求取.

本文研究并提出了权值不确定拉普拉斯多层极速学习机算法.第 1 节简述传统的极速学习机和正则化极

速学习机算法.第 2 节介绍多层极速学习机原理和模型结构.第 3 节详述我们提出的拉普拉斯多层极速学习机

算法、权值不确定极速学习机-自动编码器算法与权值不确定拉普拉斯多层极速学习机算法.第 4 节首先用人

工数据集与 UCI 数据集测试 Lap-ML-ELM 算法与 WUL-ML-ELM 算法的性能,然后把这两种算法应用到图像

识别上.实验结果表明:与 SS-ELM 相比,Lap-ML-ELM 与 WUL-ML-ELM 在分类精度上有明显提高,并且无需花

费太多的时间.

of 12

免费下载

软件学报计算机技术

关注

评论