一种基于视觉特征组合构造的零样本学习方法-杨刚 , 刘金露 , 李锡荣 , 许洁萍.pdf

上善若水

109

14页

0次

2022-05-19

免费下载

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn

Journal of Software, 2018,29(Suppl.(2)):1629 http://www.jos.org.cn

一种基于视觉特征组合构造的零样本学习方法



杨

刚

刘金露

李锡荣

1,2

许洁萍

(中国人民大学信息学院,北京 100872)

(数据工程与知识工程重点实验室(中国人民大学),北京 100872)

通讯作者: 李锡荣, E-mail: xirong@ruc.edu.cn

摘要: 零样本学习是机器学习和图像识别领域重要的研究热点.零样本学习方法通常利用未见类与可见类之间

的类别语义信息,将从可见类样本学习到的知识转移到未见类,实现对未见类样本的分类识别.提出了一种基于视觉

特征组合构造的零样本学习方法,采用特征组合的方式构造产生大量未见类样例特征,将零样本学习问题转化为标

准的监督学习分类问题.该方法模拟了人类的联想认知过程,其主要包括 4 步:特征-属性关系提取、样例构造、样例

过滤、特征域适应.在可见类样本上抽取类别属性与特征维度的对应关系;利用特征-属性关系,通过视觉特征的组合

构造的方式,产生未见类样例;引入非相似表示,过滤掉不合理的未见类样例;提出半监督特征域适应和无监督特征

域适应,实现未见类样例的线性转换,产生更有效的未见类样例.在 3 个基准数据集(AwA,AwA2 和 SUN)上的实验结

果显示,该方法效能优越,在数据集 AwA 上获得了当前最优的 Top-1 分类正确率 82.6%.实验结果证明了该方法的有

效性和先进性.

关键词: 零样本学习;图像分类;非相似表示;数据预处理

中文引用格式: 杨刚,刘金露,李锡荣,许洁萍.一种基于视觉特征组合构造的零样本学习方法.软件学报,2018,29(Suppl.(2)):

1629. http://www.jos.org.cn/1000-9825/18014.htm

英文引用格式: Yang G, Liu JL, Li XR, Xu JP. Visual feature combination approach for zero-shot learning. Ruan Jian Xue

Bao/Journal of Software, 2018,29(Suppl.(2)):1629 (in Chinese). http://www.jos.org.cn/1000-9825/18014.htm

Visual Feature Combination Approach for Zero -Shot Learning

YANG Gang

, LIU Jin-Lu

, LI Xi-Rong

1,2

, XU Jie-Ping

(School of Information, Renmin University of China, Beijing 100872, China)

(Key Laboratory of Data Engineering and Knowledge Engineering (Renmin University of China), Beijing 100872, China)

Abstra ct : Zero-Shot learning is an important research in the field of machine learning and image recognition. Zero-Shot learning

methods normally use the semantic information among unseen classes and seen classes to transfer the knowledge which is learned from

examples of seen classes to unseen classes, so as to recognize and classify the examples of unseen classes. In this study, a zero-shot

learning approach based on construction of visual feature combination is proposed. The approach generates many examples of unseen

class on visual feature level by the way of feature combination, which is first proposed, and thus transforms zero-shot learning problem to

be a traditional classification problem solved by supervised learning. The approach mimics human cognition process of associative

memory, and includes four steps: feature-attribute relation extraction, example construction, example screening, and domain adaption. On

training examples of seen classes, the relationship between class attributes and dimensions of feature is extracted; on visual feature level,

examples of unseen classes are generated by visual feature combination; dissimilarity representation is introduced to filter the generated

examples of unseen classes; semi-supervised and unsupervised feature domain adaption are proposed to linearly transform the generated

examples of unseen classes to be more effective. The proposed approach shows superior performance on three benchmark datasets (Aw A ,

AwA2, and SUN), especially on dataset AwA, it obtains 82.6% top-1 accuracy which is the best result as far as we know. Experiment

 基金项目: 国家自然科学基金(61773385, 61672523)

Foundation item: National Natural Science Foundation of China (61773385, 61672523)

收稿时间: 2018-04-14; 修改时间: 2018-06-13, 2018-09-30; 采用时间: 2018-10-31

杨刚等:一种基于视觉特征组合构造的零样本学习方法

results demonstrate the effectiveness and superiority of the proposed approach.

Key words: zero-shot learning; image classification; dissimilarity representation; data preprocessing

零样本学习(zero-shot learning)是图像语义理解领域的一类尤为重要的机器学习方法.随着图像标注成本

的不断增加,待识别类别愈加繁杂,利用大量训练数据通过监督学习构建图像分类模型的方法,已逐渐突显不足.

零样本学习能够利用类别关联等先验知识,实现对未见类别图像的识别,而无需依赖大量的目标类(未见类)训

练数据.零样本学习作为一种解决未见类图像分类问题的有效方法,近年来倍受关注

[1]

零样本学习方法通常利用可见类(存在训练样本的类)与未见类(不存在训练样本的类)之间的类别语义信

息,将从可见类样本学习到的知识转移到未见类,实现对未见类样本的分类识别

[210]

.零样本学习是一种特殊的

迁移学习.迁移学习是指对先前领域中学到的知识进行识别,并将其应用到一个全新的领域,其中先前领域称为

源领域(source domain),新领域称为目标领域(target domain)

[11]

,而零样本学习是利用从可见类中学到的知识去

识别未见类,其中可见类分布于源领域,未见类分布于目标领域且未见类样例无标签.此外,在一定条件下,零样

本学习可以转化成监督学习,例如在获取了有标签的未见类样例的前提下,可以通过学习这些样例去识别真实

的未见类样例.当前,零样本学习方法主要分为两大类:概率推理方法和特征映射方法.DAP(direct attribute

prediction)

[9]

方法利用了跨类别的属性预测和最大似然估计推导未见类的类别概率,是概率推理方法的基

础

[1,12]

.随后,语义属性(semantic attribute)和确定性属性(discriminative attribute)优化了概率推理方法

[13,14]

.然而,

概率推理方法过于依赖属性预测的正确性,并且,类别属性是类别层次上的描述,实例层次的语义描述上存在很

大的偏差

[1]

.这些缺点限制了概率推理方法的发展和应用.特征映射方法形成了一条在不同嵌入之间进行样例

特征比较的有效途径.利用特征映射方法,图像的低层次特征能够映射到高层次语义特征空间,直接与未见类的

语义特征比较,形成分类.而且,确定性嵌入(discriminative embedding)可以通过 Word2Vec

[15]

将类别文本转化为

高维词向量, 形成词向量空间中有效语义表示, 便于特征空间映射

[16]

. 另外, 一些中间嵌入(intermediate

embeddings)被引入到特征映射方法中

[17,18]

,用于在视觉流空间(visual manifold space)表示具体实例

[4]

,由此,视

觉特征和属性特征将被映射到该空间中用于比较并分类.大量的确定性嵌入使特征映射方法具有了更加丰富

的特征表示,实现了在不同特征空间下的未见类和可见类的样例分类.然而,特征映射方法仍然需要大量的标注

数据和耗时的运算来训练模型,并且此类方法在原理上与人类零样本学习的认知过程不一致.

零样本学习是人类拥有的基本认知能力

[19]

.人类能够利用已有知识,参考和组合已见类物体的视觉特征,想

象构造未见类物体的视觉特征,从而实现对未见类物体的识别.例如,当一个人学习了“老虎是生活在森林中的

具有斑纹毛皮的最大的猫科动物”的文字表述后,他会以自己见到的家猫为基本参考,通过想象替换掉家猫的毛

皮和周边环境,继而产生老虎图像;此人会乐观地认可并学习自己想象的老虎图像,形成对“老虎”的视觉认知.由

此,他具有了对未见类“老虎”的认知能力.此未见类图像的想象构造过程使得人类具有了零样本学习能力.模拟

此未见类图像的构造过程,将形成一种有效的零样本学习方法.

本文提出了一种基于视觉特征组合构造的零样本学习方法,简称为 ViFC 方法.ViFC 方法模拟了人类根据

语义描述联想出未见类物体视觉特征的过程.在参考最相似类样例特征的基础上,ViFC 方法通过不同特征维度

上的特征组合,构造未见类的样例特征;并在测试样例批量输入的假设条件下,通过类别间的空间结构匹配优化,

转换已构造的未见类样例特征,形成有效样例.ViFC 方法将零样本学习问题转化为标准的监督学习分类问题.

传统的监督学习分类算法可以直接学习 ViFC 方法产生的未见类样例,构建分类模型,实现对真实的未见类样例

的分类识别.

本文的贡献主要有以下 3 点:(1) 本文提出了一种模拟人类认知想象过程的零样本学习方法.此方法提取了

属性与特征维度之间的关联关系,通过不同维度的特征组合,在特征层次上产生未见类的样例,将零样本学习问

题转化为传统的监督学习分类问题,是一种从新角度解决零样本学习问题的方法.(

2) 在测试样例批量输入的

前提假设下,本文提出了类别间的空间结构匹配策略,有效地解决了特征域迁移问题.该策略借鉴非相似表示

(dissimilarity representation)的原理,利用已产生的未见类样例与测试样例的空间结构匹配关系,获得未见类的

of 14

免费下载

软件学报计算机技术

关注

评论