考虑多粒度类相关性的对比式开放集识别方法-朱鹏飞，张琬迎，王煜，胡清华.pdf

上善若水

448

14页

0次

2022-05-19

免费下载

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn

Journal of Software, 2022,33(4):1156−1169 [doi: 10.13328/j.cnki.jos.006468] http://www.jos.org.cn

考虑多粒度类相关性的对比式开放集识别方法

∗

朱鹏飞

张琬迎

王

煜

胡清华

(天津大学智能与计算学部, 天津 300350)

通信作者: 王煜, E-mail: armstrong_wangyu@tju.edu.cn

摘要: 深度神经网络在分类任务上不断取得性能突破, 但在测试中面对未知类样本时, 会错误地给出一个已知

类预测结果. 开放集识别任务旨在解决该问题, 要求模型不仅精确地分类已知类, 同时对未知类样本进行准确判

别. 现有方法虽然取得了不错的效果, 但由于未对开放集识别任务的影响因素进行分析, 因而大多基于某种假设

启发式地设计模型, 难以保证对于实际场景的适应性. 分析了现有方法的共性, 通过设计一个新的决策变量实验,

发现模型对已知类的表示学习能力是其中的一个关键影响因素. 基于该结论, 提出了一种基于模型表示学习能力

增强的开放集识别方法. 首先, 由于对比式学习已展示出的强大表示学习能力以及开放集识别任务所包含的标签

信息, 引入了监督对比式学习方法, 提高模型对已知类的建模能力; 其次, 考虑到类别间的相关性是在类别层次

上的表示, 且类别之间往往呈现分层结构关系, 设计了一种多粒度类相关性的损失函数, 通过在标签语义空间构

建分层结构并度量多粒度类相关性的方式, 约束模型学习不同已知类间的相关关系, 进一步提高其表示学习能力;

最后, 在多个标准数据集上进行了实验验证, 证明了所提出方法在开放集识别任务上的有效性.

关键词: 开放集识别; 表示学习; 对比式学习; 多粒度类相关性; 分类

中图法分类号: TP18

中文引用格式: 朱鹏飞, 张琬迎, 王煜, 胡清华. 考虑多粒度类相关性的对比式开放集识别方法. 软件学报, 2022, 33(4):

1156–1169. http://www.jos.org.cn/1000-9825/6468 .htm

英文引用格式: Zhu PF, Zhang WY, Wang Y, Hu QH. Multi-granularity Inter-class Correlation Based Contrastive Learning for Open

Set Recognition. Ruan Jian Xue Bao/Journal of Software, 2022, 33(4): 1156−1169 (in Chinese). http://www.jos.org.cn/1000-9825/

6468.htm

Multi-granularity Inter-class Correlation Based Contrastive Learning for Open Set Recognition

ZHU Peng-Fei, ZHANG Wan-Ying, WANG Yu, HU Qing-Hua

(College of Intelligence and Computing, Tianjin University, Tianjin 300350, China)

Abstra ct : In recent years, deep neural networks have continuously achieved breakthroughs in the classification task, but they will

mistakenly give a wrong known class prediction when faced with unknown samples in the testing phase. The open set recognition is a

possible way to solve the probl em, which requires the model not only to classify the known classes, but also to distinguish the unknown

samples accurately. Most of the existing methods are designed heuristically based on certain assumptions. Despite keeping the

performance increasing, they have not analyzed the key factors that affect the task. This study analyzes the commonalities of existing

methods by designing a new decision variable experiment and find that the ability of model to learn representations of known classes is an

important factor. Then an open set recognition method is proposed based on model representation learning ability enhancement. Firstly,

due to the powerful representation learning capabilities demonstrated by the contrastive learning and the label information contained in

∗ 基金项目: 国家重点研发计划(2019YFB2101904); 国家自然科学基金(62106174, 61732011, 61876127); 天津市自然科学基金

(17JCZDJC30800); 青海省应用基础研究项目(2019-ZJ-7017); 中国博士后科学基金资助项目(2021TQ0242, 2021M690118)

本文由“面向开放场景的鲁棒机器学习”专刊特约编辑陈恩红教授、李宇峰副教授、邹权教授推荐.

收稿时间: 2021-05-08; 修改时间: 2021-07-16; 采用时间: 2021-08-27; jos 在线出版时间: 2021-10-26

朱鹏飞等: 考虑多粒度类相关性的对比式开放集识别方法

1157

the open set recognition task, supervised contrastive l earning is introdu ced to improv e the mod eling ability of the model to known classes.

Secondly, considering that the correlation among the categories is the representation learning at the category level, and the hierarchical

structure relationship among the categories is often presented, a multi-granularity inter-class correlation loss is designed by building the

hierarchical structure in the label semantic space and measuring the multi-granularity inter-class correlation. The multi-granularity

inter-class correlation loss constrains the model to learn the correlation among different known classes to further improve the

representation learning ability of model. Finally, experimental results on multiple standard datasets verify the effectiveness of the

proposed method on open s et recognition tasks.

Key words: open set recognition; r epresentation l earning; contrastive l earning; multi -granularity inte r-class correlation; cl assification

近年来, 随着机器学习领域的发展, 深度学习方法的性能不断取得突破

[1,2]

, 在计算机视觉的多个任务中

得到了广泛应用

[3,4]

. 但传统深度神经网络(deep neural network, DNN)只能处理封闭场景任务, 即训练集和测

试集中包含的类别相同. 若某样本为训练集中未出现的新类样本, DNN 会将样本预测为训练集中某一已知类

别, 从而给出一个错误结果. 开放集识别任务(open set recognition, OSR)旨在对已知类别样本进行正确分类的

同时, 对出现的未知类别样本进行准确地判别. 在开放集识别任务中, 未知类样本的不可预知性是开放集识

别任务的主要挑战之一, 因为训练过程中, 模型无法获得开放集样本的相关信息, 这为模型判别未知类带来

了极大的挑战.

解决开放集识别任务最直观的方法是基于 DNN 的 Soft Ma x 输出概率结合阈值进行判别, 如果最高概率低

于阈值, 则认为是未知类样本. 然而, 由于其学习目标是区分已知类样本, 因此这种方法只能学习到用于分类

的判别性特征, 无法对类别的所有特性进行全面描述, 不利于未知类判别

[5,6]

. 针对该问题, 学者们提出了许

多方法进行解决, 大致可概括为两类: 第一类方法是 OpenMax 方法, 在建模中考虑未知类信息, 尽管基于

SoftMa x 层的输出也可进行未知类判别, 但由于该输出一般对应各自已知类的概率, 未能体现模型对未知类

的判别情况. 因此, Bendale 等学者

[7]

在此基础上提出了 OpenMax 函数代替 Soft Max 函数, 将已知各个类别的

概率进行重新调整, 以显式地给出未知类别的概率. 此后, 许多学者基于 OpenMa x 对于未知类进行显式度量

的思想, 提出了基于已知类概率调整和未知类样本生成的模型

[7−9]

. 这一类方法相比传统 SoftMax 方法在建模

中显式地考虑了未知类信息, 因此对类别的描述更加丰富. 但由于对未知类知识的获取较为困难, 因此性能

有所局限. 针对该问题, 学者们提出了基于自编码器(auto-e ncoder, AE)的方法, 从已知类和未知类差异的角度

进行开放集识别. 这类方法假设已知类样本通过训练可较好地进行重构, 而未知类样本由于缺乏训练样本导

致重构误差较大, 从而能够被识别出来. 学者们通过分类-重构的多任务学习

[10]

、多阶段学习

[5]

以及基于变分

自编码器的隐层表示建模

[11]

等方式, 对已知类样本进行了全面地描述和表示, 从而使得模型更好地对未知类

样本进行判别.

尽管上述方法已经取得了不错的性能, 但仍然存在一些开放性问题: 首先, 影响开放集识别的关键因素

尚未进行深入探讨, 大量工作针对开放集识别中的未知类判别提出了一些有效的算法, 基于模型对未知样本

概率低或者重构误差高的假设进行判别, 但并未分析未知样本的判别特性和影响因素; 其次, 现有方法大多

基于某些假设, 如未知样本重构误差高、数据表示服从高斯分布等, 但这些假设主要通过启发式设计, 并未证

明出其在真实应用的合理性.

针对上述问题, 本文通过分析网络对未知样本判别的影响因素, 发现模型的表示学习能力是决定开放集

识别性能的一个关键问题. 具体地, 通过实验分析发现, 模型学习到的样本特征表示的一范数是未知类判别

的一个有效决策变量, 由于一范数可反映模型对样本表示的描述, 因此发现模型对已知类别的表示学习能力

是影响其未知类判别性能的一个关键因素.

基于以上发现, 本文旨在提高模型对已知类特征的刻画能力, 提出了考虑多粒度类相关性的对比式学习

模型(multi-granularity inter-class correlation based contrastive learning method, MICC), 以更加有效地解决开放

集识别任务. 首先, 引入了对比式学习方法. 对比式学习已经被广泛证明其在特征提取方面的强大能力, 考虑

到开放集识别本质上属于监督式学习任务, 本文利用监督对比式学习方法, 在不增加模型推理复杂度的基础

上, 通过增强实例级别的特征表示能力, 实现更加丰富的表示学习. 其次, 考虑了类别间的多粒度相关性. 对

of 14

免费下载

软件学报计算机技术

关注

评论