基于交叉熵的安全Tri-training算法 - 张永, 陈蓉蓉, 张晶.pdf
免费下载
计 算 机 研 究 与 发 展
DOI
:
１０．７５４４∕issn１０００Ｇ１２３９．２０２１．２０１９０８３８
JournalofCom
p
uterResearchandDevelo
p
ment ５８
(
１
):
６０ ６９
,
２０２１
收稿日期
:
２０１９
－
１２
－
０８
;
修回日期
:
２０２０
－
０４
－
０３
基金项目
:
国家自然科学基金项目
(
６１７７２２５２
,
６１９０２１６５
);
辽宁省高等学 校创 新 人才 支 持计 划 项目
(
LR２０１７０４４
);
辽 宁 省 自 然 科 学 基 金 项 目
(
２０１９ＧMSＧ２１６
)
Thisworkwassu
pp
ortedb
y
theNationalNaturalScienceFoundationofChina
(
６１７７２２５２
,
６１９０２１６５
),
thePro
g
ramforLiaonin
g
InnovativeTalentsinUniversities
(
LR２０１７０４４
),
andtheNaturalScienceFoundationofLiaonin
g
Province
(
２０１９ＧMSＧ２１６
)
．
基于交叉熵的安全
TriＧtrainin
g
算法
张
永
陈 蓉 蓉
张
晶
(
辽宁师范大学计算机与信息技术学院
辽宁大连
１１６０８１
)
(
zh
y
on
g
＠lnnu．edu．cn
)
SafeTriＧtrainin
g
Al
g
orithm BasedonCrossEntro
py
Zhan
g
Yon
g
,
ChenRon
g
ron
g
,
andZhan
g
Jin
g
(
Schoolo
f
Com
p
uter
&
In
f
ormationTechnolo
gy
,
Liaonin
g
NormalUniversit
y
,
Dalian
,
Liaonin
g
１１６０８１
)
Abstract SemiＧsu
p
ervisedlearnin
g
methodsim
p
rovelearnin
gp
erformancewithasmallamountof
labeleddataandalar
g
eamountofunlabeleddata．TriＧtrainin
g
al
g
orithmisaclassicsemiＧsu
p
ervised
learnin
g
methodbasedondiver
g
ence
,
whichdoesnotneedredundantviewsofdatasetsandhasno
s
p
ecificre
q
uirementsfor basic classifiers．Therefore
,
it has become the mostcommonl
y
used
technolo
gy
insemiＧsu
p
ervisedlearnin
g
methodsbasedondiver
g
ence．However
,
TriＧtrainin
g
al
g
orithm
ma
yp
roducethe
p
roblem oflabelnoiseinthelearnin
gp
rocess
,
whichleadstoabadim
p
actonthe
finalmodel．Inordertoreducethe
p
rediction biasofthenoisein TriＧtrainin
g
al
g
orithm onthe
unlabeleddataandlearnabettersemiＧsu
p
ervisedclassificationmodel
,
crossentro
py
isusedtore
p
lace
theerrorratetobetterreflectthe
g
a
p
betweenthe
p
redictedresultsandtherealdistributionofthe
model
,
andtheconvexo
p
timizationmethodiscombinedtoreducethelabelnoiseandensuretheeffect
ofthemodel．Onthisbasis
,
we
p
ro
p
oseaTriＧtrainin
g
al
g
orithmbasedoncrossentro
py
,
asafeTriＧ
trainin
g
al
g
orithmandasafeTriＧtrainin
g
learnin
g
al
g
orithmbasedoncrossentro
py
,
res
p
ectivel
y
．The
validit
y
ofthe
p
ro
p
osed methodisverifiedonthebenchmarkdatasetsuchas UCI
(
Universit
y
of
CaliforniaIrvine
)
machinelearnin
g
re
p
ositor
y
andthe
p
erformanceofthemethodisfurtherverified
fromastatistical
p
ointofview usin
g
asi
g
nificancetest．Theex
p
erimentalresultsshow thatthe
p
ro
p
osedsemiＧsu
p
ervisedlearnin
g
methodissu
p
eriortothetraditional TriＧtrainin
g
al
g
orithm in
classification
p
erformance
,
andthesafe TriＧtrainin
g
al
g
orithm basedoncrossentro
py
hashi
g
her
classification
p
erformanceand
g
eneralizationabilit
y
．
Ke
y
words semiＧsu
p
ervised
;
TriＧtrainin
g
al
g
orithm
;
crossentro
py
;
convexo
p
timization
;
sam
p
lelabel
摘
要
半监督学习方法通过少量 标 记数 据 和大 量 未标 记 数据 来 提升 学 习性 能
．TriＧtrainin
g
是一 种 经
典的基于分歧的半监督学习方法
,
但在学 习过程 中可能 产生标 记噪声 问题
．
为了减 少
TriＧtrainin
g
中的
标记噪声对未标记数据的预测偏差
,
学习到更好的半监督分类模型
,
用交叉熵代替错误率以更好地反映模
型预估结果和真实分布之间的差距
,
并结合 凸优化 方法来 达到降 低标记 噪声的 目的
,
保证 模 型效 果
．
在
此基础上
,
分别提出了一种基于交叉熵的
TriＧtrainin
g
算法
、
一个安全的
TriＧtrainin
g
算法
,
以及一 种基
于交叉熵的安全
TriＧtrainin
g
算法
．
在
UCI
(
Universit
y
ofCaliforniaIrvine
)
机器学习库等基准数据集上
验证了所提方法的有效性
,
并利 用 显著 性 检验 从 统计 学 的角 度 进一 步 验证 了 方法 的 性 能
．
实 验 结 果 表
明
,
提出的半监督学习方法在分类性能方面优于传统的
TriＧtrainin
g
算法
,
其中基 于交叉 熵的安 全
TriＧ
trainin
g
算法拥有更高的分类性能和泛化能力
．
关键词
半监督学习
;
TriＧtrainin
g
算法
;
交叉熵
;
凸优化
;
样本标记
中图法 分类号
TP１８１
传统的分类方法通常使用有标签的数据进行训
练
．
然而
,
随着 人 们 收 集 数 据 能 力 的 不 断 提 升
,
获 得
大量的未标记数据 样 本相 对 容易
,
而获 取 已标 记 数
据样本通常却需要付出昂贵的人力
、
物力和财力
．
如
何让学习器利用少量的标记数据和大量的未标记数
据来提升学习性能
,
是半监 督学习
(
semiＧsu
p
ervised
learnin
g
,
SSL
)
[
１Ｇ２
]
所 要 解 决 的 问 题
．
目 前 常 用 的 半
监督学习方法 主要 包 括生 成 式方 法
[
３
]
、
半监 督 支持
向 量 机
(
semiＧsu
p
ervisedsu
pp
ortvector machine
,
S３VM
)
[
４Ｇ５
]
、
图半监督学 习
[
６
]
、
基于 分 歧的 方 法
[
７
]
和
半监督聚类
[
８
]
等
．
其中
,
基于分歧的方法起源于 协同训 练
[
９
]
．
标准
的协同训练算法需要
２
个足 够 多的 冗 余视 图
,
即属
性可以自然地分为
２
组
,
且每 组 在给 定 类标 签 的情
况下有条件地独立于另一组
．
然而在实际应用中
,
并
不是所有的数据集都能满足这一特征
．
为了更加方便
地应 用 到 各 种 常 见 的 数 据 挖 掘 场 景
,
Zhou
等 人
[
１０
]
提出了一种协同训练算法
TriＧtrainin
g
,
该算法 不需
要足够 的冗余 视图
,
也不需 要使用 不同的 监督 学习
方法
,
有效提高了半监督学习的效率
．Sø
g
aard
[
１１
]
提出
了一种带 分 歧 的
TriＧtrainin
g
算 法
,
旨 在 提 升 模 型
的薄弱点
,
比 一 般 的
TriＧtrainin
g
算 法 更 具有 效率
．
Saito
等人
[
１２
]
提出了一种用于无监督域自适应的非
对称
TriＧtrainin
g
算法
,
通过不对称地使用
３
个神经
网络
,
达到对目标域未标记数据进行标记的目的
,
从
而提高 了 迁 移 学 习 领 域 的 自 适 应 性 能
．Ruder
等
人
[
１３
]
为了减少
TriＧtrainin
g
过程中的时间和空间 复
杂度
,
把迁移学习思想引入半监督学习
,
提出了多任
务
TriＧtrainin
g
算法
．Ou
等人
[
１４
]
提出了 一种 基 于正
则化局部嵌入的
TriＧtrainin
g
方法 用 于高 光 谱图 像
分析
,
解决了奇异值和过拟合的问题
,
有效提高了高
光 谱 图 像 的 分 类 精 度
．Park
等 人
[
１５
]
结 合
TriＧ
trainin
g
方法和对抗学 习方法 构建 了 一个 半 监督 学
习框架
,
用来检测单个 音 频剪 辑 中多 个 声音 事 件的
设置 和 偏 移
．
该 框 架 先 用
TriＧtrainin
g
方 法 标 记 数
据
,
然后使用对抗学 习 方法 来 减少 真 实数 据 集和 合
成数据集之间的域间隙
．
然而上述
TriＧtrainin
g
算法
依赖于初始的分类 器
,
忽略 了 标记 后 产生 的 噪声 标
签
．
研究表明
[
１６
]
,
在某些情 况 下
,
使用 未 标记 的 数据
进行半监督学习时 会 使性 能 退化
,
导致 一 个不 安 全
的学习模 型
,
而 在
TriＧtrainin
g
训 练 过 程 中 产 生 的
不正确伪标签 是 性 能 下 降 的 主 要 根 源
．
本 文 提 出 一
种安全的半监督学 习 方法
,
即使 在 使用 未 标记 数 据
时也不会显著降低学习性能
．
本文从降低误标记样本的角度出发
,
将交叉熵
、
凸优化分别与
TriＧtrainin
g
算法相结合
,
提出了
３
个
不同的算法
．
实验结果表明
,
基于交叉熵的 安全
TriＧ
trainin
g
算法具有最优的分类性能
．
针对半监督分类
学习任务
,
本文的主要贡献有
３
个方面
:
１
)
将交叉 熵 与
TriＧtrainin
g
算 法 相 结合
,
提 出
一种基于交叉熵的
TriＧtrainin
g
算法
;
２
)
使用铰链损失函数
,
提出了一个安全的
TriＧ
trainin
g
算法
;
３
)
运用凸优化方法
,
提出一种基于交叉熵的安
全
TriＧtrainin
g
学习框架
．
１
相关工作
本 节 主 要介 绍了 基于 分歧 的半 监督 学习 方法
TriＧtrainin
g
的基本思想
、
相对熵和交叉熵 的相关 知
识
,
以及基于凸优化的半监督分类学习方法
．
１．１ TriＧtrainin
g
算法
TriＧtrainin
g
算法
[
１０
]
不要 求数 据 集 有 充 足 和 冗
余的视图
,
通过建立
３
个基分类器
,
用一种监督学习
方法即可实现
．
基本思想是
:
首先
,
通过
Bootstra
p
方
法重采样原始标记数 据 集
L
,
训练 得 到
３
个基 分 类
器
h
１
,
h
２
,
h
３
．
然后
,
对 未 标 记数 据集
U
中 的 数 据
x
进行标 记
,
只 需 有
２
个 分 类 器 对
x
的 标 记 一 致 即
可
,
并将该未标记样 本 及其 分 类一 致 的标 签 加入 到
另外一个分类器的训练集中
,
重新训练基分类器
,
依
此类推
．
重复迭代上述过程
,
直到
３
个基分类器的性
能不再改变为止
．
最后
,
采用多数投票法确定最终的
分类结果
．
在标记过 程中
,
产生的 错误标 记样本 会对结 果
１６
张
永等
:
基于交叉熵的安全
TriＧtrainin
g
算法
of 10
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论