最小二乘孪生参数化不敏感支持向量回归机-丁世飞 , 黄华娟.pdf

上善若水

126

10页

0次

2022-05-20

免费下载

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn

Journal of Software,2017,28(12):3146−3155 [doi: 10.13328/j.cnki.jos.005240] http://www.jos.org.cn

最小二乘孪生参数化不敏感支持向量回归机

∗

丁世飞

1,2

黄华娟

1,2,3

(中国矿业大学计算机科学与技术学院,江苏徐州 221116)

(中国科学院计算技术研究所智能信息处理重点实验室,北京 100190)

(广西民族大学信息科学与工程学院,广西南宁 530006)

通讯作者: 黄华娟, E-mail:hhj-025@163.com

摘要: 孪生参数化不敏感支持向量回归机(twin parametric insensitive support vector regression,简称 TPISVR)是

一种新型机器学习方法.与其他回归方法相比,TPISVR 在处理异方差噪声方面具有独特的优势.标准 TPISVR 的训

练算法可以归结为在对偶空间求解一对具有不等式约束的二次规划问题.然而,这种求解方法的时间消耗比较大.引

入最小二乘思想,将 TPISVR 的两个二次规划问题转化为两个线性方程组,并在原始空间上直接求解,提出了最小二

乘孪生参数化不敏感支持向量回归机(least squares TPISVR,简称 LSTPISVR).为了解决 LSTPISVR 的参数选择问题,

提出了混沌布谷鸟优化算法,并用其对 LSTPISVR 的参数进行优化选择.在人工数据集和 UCI 数据集上的实验结果

表明:LSTPISVR 在保持精度不下降的情况下,具有更高的运行效率.

关键词: 孪生参数化不敏感支持向量回归机;异方差性;最小二乘;混沌布谷鸟优化算法

中图法分类号: TP181

中文引用格式: 丁世飞,黄华娟.最小二乘孪生参数化不敏感支持向量回归机.软件学报,2017,28(12):3146−3155. http://www.

jos.org.cn/1000-9825/5240.htm

英文引用格式: Ding SF, Huang HJ. Least squares twin parametric insensitive support vector regression. Ruan Jian Xue Bao/

Journal of Software, 2017,28(12):3146−3155 (in Chinese). http://www.jos.org.cn/1000-9825/5240.htm

Least Squares Twin Parametric Insensitive Support Vector Regression

DING Shi-Fei

1,2

, HUANG Hua-Juan

1,2,3

(School of Computer Science and Technology, China University of Mining and Technology, Xuzhou 221116, China)

(Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, The Chinese Academy of Science, Beijing

100190, China)

(College of Information Science and Engineering, Guangxi University for Nationalities, Nanning 530006, China)

Abstract: Twin parametric insensitive support vector regression (TPISVR) is a novel machine learning method proposed. Compared to

other regression methods, TPISVR has unique advantages in dealing with heteroscedastic noise. Standard TPISVR can be attributed to

solve a pair of quadratic programming problem (QPP) with inequality constraints in the dual space. However, this method is subject to the

constraints of time and memory when number of samples are large. This paper introduces the least squares ideas, and proposes the least

squares twin parametric insensitive support vector regression (LSTPISVR) which transforms the two QPPs of TPISVR into linear

equations and solves them directly on the original space. Further, a chaotic cuckoo optimization algorithm is introduced for parameter

selection of LSTPISVR. Experiments on artificial datasets and UCI datasets show that LSTPISVR not only has fast learning speed, but

also shows good generalization performance.

∗ 基金项目: 国家自然科学基金(61379101, 61662005, 61672522); 国家重点基础研究发展计划(973)(2013CB329502)

Foundation item: National Natural Science Foundation of China (61379101, 61662005, 61672522); National Basic Research

Program of China (973) (2013CB329502)

收稿时间:

2016-01-10; 修改时间: 2016-05-26, 2016-10-08; 采用时间: 2016-11-04; jos 在线出版时间: 2017-03-24

CNKI 网络优先出版: 2017-03-24 12:34:09, http://kns.cnki.net/kcms/detail/11.2560.TP.20170324.1234.001.html

丁世飞等:最小二乘孪生参数化不敏感支持向量回归机

3147

Key words: twin parametric insensitive support vector regression; heteroscedastic; least squares; chaotic cuckoo optimization algorithm

支持向量机(support vector machine,简称 SVM)是由 Va pni k 等人提出的基于统计学习理论的机器学习方

法

[1]

,它不仅是一种小样本学习方法,也是一种基于结构风险最小化原则的方法.与人工神经网络相比

[2,3]

,SVM

成功解决了高维问题和局部极小值问题,因此具有更好的泛化能力.目前,SVM 已成功应用到模式识别

[4]

、时间

序列预测

[5]

、文本分类

[6]

和图像处理

[7]

等多个领域.

虽然 SVM 取得了较好的学习性能,但是其训练时间非常高,达到 O(l

),其中,l 是整个训练集的样本数.为了

提高 SVM 的训练速度,学者们已经提出了多种改进算法,比如选块算法(chunking algorithm)

[8]

、分解算法

(decomposition algorithm)

[9]

、序列最小优化算法(sequential minimal optimization,简称 SMO)

[10]

等等.这些经典的

改进方法虽然在一定程度上提高了 SVM 的学习性能,但算法比较复杂,实现上有一定难度.近年来,学者们开始

研究基于标准 SVM 的变形算法

[11,12]

.2007 年,Jayadeva 等人

[13]

在深入研究了标准 SVM 形式的基础上,提出了孪

生支持向量机(twin support vector machines,简称 TWSVM).TWSVM 是要得到两个不平行的分类超平面,使得每

一个超平面靠近其中的一类样本,而远离另一类样本.TWSVM 在形式上类似于标准 SVM,但其计算效率是

SVM 的 4 倍.鉴于其明显的分类优势,TWSVM 已被应用于说话人识别、医学检测等领域

[14−17]

.在回归问题求解

方面,2010 年,基于 TWSVM 的思想,Peng 等人

[18]

提出了孪生支持向量回归机(twin support vector regression,简称

TSVR).TSVR 产生一对超平面,分别确定目标回归函数的

不敏感上、下界.TSVR 仅需要求解一对较小规模的

二次规划问题(quadratic programming problem,简称 QPP),每个 QPP 所含约束条件的数目仅为传统支持向量回

归机(support vector regression,简称 SVR)的一半,并且 TSVR 的对偶问题中没有等式约束,这使得 TSVR 的训练

速度大为提高

[19]

.然而,TSVR 丧失了稀疏性,其预测速度比 SVR 的慢.

目前,大部分有关 TSVR 和 SVR 的学习算法都是基于假设样本噪声在整个区域是一致的或者函数依赖事

先已知的前提下提出的,而在实际应用中,这种假设不一定成立,比如,我们经常会碰到异方差噪声,这种噪声依

赖于区域的位置.为了解决这种问题,2010 年,Hao 等人

[20]

引入一种参数化不敏感损失函数,提出了参数化不敏

感支持向量回归机(par-v-SVR).与 SVR 相比,par-v-SVR 更适合于求解异方差噪声问题.而且,与 SVR 一样,par-v-

SVR 的训练速度也不够理想.2012 年,Peng

[21]

为了提高 par-v-SVR 的训练速度,结合 TSVR 和 par-v-SVR 的思想,

提出了孪生参数化不敏感支持向量回归机(twin parametric insensitive support vector regression,简称 TPISVR).

TPISVR 要产生两个不平行的函数,分别确定目标回归函数的参数化不敏感上、下界.理论分析和实验结果表明:

与 par-v-SVR 相比,TPISVR 在保证精度不下降的情况下获得了更快的训练速度.TPISVR 的标准算法也是在对

偶空间求解两个二次规划问题,然而对于样本数目较大的问题,这种求解方法将受到时间和内存的制约.

本文引入最小二乘思想,将 TPISVR 的两个二次规划问题转化为两个线性方程组,并在原空间上直接求解,

提出了最小二乘孪生参数化不敏感支持向量回归机(least squares TPISVR,简称 LSTPISVR).与 TPISVR 一样,

LSTPISVR 至少存在 4 个参数.为了解决 PLTPISVR 的参数选择问题,本文提出具有较强寻优能力的混沌布谷鸟

优化算法,并用其对 LSTPISVR 的参数进行优化选择.在人工数据集和 UCI 数据集上的实验结果表明:

LSTPISVR 在保持精度不下降的情况下,比 TPISVR 具有更高的运行效率.

1 TPISVR 基本理论

给定训练集{(x

),…,(x

)}∈R

×R,i=1,…,l.令 A

l×n

为训练样本输入数据集,即

{}

;令 Y

l×1

为训练样本输

出数据集,即 A

l×n

对应的回归为 Y

l×1

=[y

,…,y

]

先简要地回顾一下 TPISVR 算法.TPISVR 的目标是,通过训练数据集以获得如下的一对不平行函数:

1112 22

() , ()

xwxbfxwxb

+=+ (1)

分别确定回归函数的不敏感下、上界.而这对函数的确定,可以通过求解下面的一对二次规划问题:

of 10

免费下载

软件学报计算机技术

关注

评论