一种基于生成式对抗网络的图像描述方法-薛子育 , 郭沛宇 , 祝晓斌 , 张乃光.pdf

上善若水

113

14页

0次

2022-05-19

免费下载

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn

Journal of Software,2018,29(Suppl.(2)):3043 http://www.jos.org.cn

一种基于生成式对抗网络的图像描述方法



薛子育

郭沛宇

祝晓斌

张乃光

(国家广播电视总局广播科学研究院信息技术研究所,北京 100866)

(北京工商大学计算机与信息工程学院,北京 100048)

通讯作者: 郭沛宇, E-mail: guopeiyu@abs.ac.cn 祝晓斌, E-mail: zhuxiaobin@btbu.edu.cn

摘要: 近年来,深度学习在图像描述领域得到越来越多的关注.现有的深度模型方法一般通过卷积神经网络进

行特征提取,递归神经网络对特征拼接生成语句.然而,当图像较为复杂时,特征提取不准确且语句生成模型模式固

定,部分语句不具备连贯性.基于此,提出一种结合多频道特征提取模型与生成式对抗网络框架的图像描述方法——

CACNN-GAN.此方法在卷积层加入频道注意力机制在各频道提取特征,与 COCO 图像集进行近似特征比对,选择排

序靠前的图像特征作为生成式对抗网络的输入,通过生成器与鉴别器之间的博弈过程,训练句法多样、语句通顺、

词汇丰富的语句生成器模型.在实际数据集上的实验结果表明,CACNN-GAN 能够有效地对图像进行语义描述,相

比其他主流算法,显示出了更高的准确率.

关键词: 图像描述;生成式对抗网络;频道注意力模型;卷积神经网络

中文引用格式: 薛子育,郭沛宇,祝晓斌,张乃光.一种基于生成式对抗网络的图像描述方法.软件学报,2018,29(Suppl.(2)):

3043. http://www.jos.org.cn/1000-9825/18015.htm

英文引用格式: Xue ZY, Guo PY, Zhu XB, Zhang NG. Image description method based on generative adversarial networks. Ruan

Jian Xue Bao/Journal of Software, 2018,29(Suppl.(2)):3043 (in Chinese). http://www.jos.org.cn/1000-9825/18015.htm

Image Description Me thod Base d o n Generative Adversarial Networks

XUE Zi-Yu

, GUO Pei-Yu

, Zhu Xiao-Bin

, ZHANG Nai-Guang

(Information Technology Institute, Academy of Broadcasting Science, National Radio and Television Administration, Beijing 100866,

China)

(School of Computer and Information Engineering, Beijing Technology and Business University, Beijing 100048, China)

Abstra ct : In recent years, deep learning has gained more and more attention in image description. The existing deep learning methods

using CNNs to extract features and RNNs to fold into one sentence. Nevertheless, when dealing with complex images, the feature

extraction is inaccurate. And the fixed mode of sentence generation model leads to inconsistent sentences. To solve this problem, this

study proposes a method combine channel-wise attention model and GANs, named CACNN-GAN. The channel-wise attention mechanism

is added to each conv-layer to extract features, compare with the COCO dataset, and select the top features to generate sentence. Using

GANs to generate the sentences, which is generated by the game process between the generator and the discriminator. After that, we can

get a sentence generator contains the varied syntax, smooth sentence, and rich vocabulary. Experiments on real datasets illustrates that

CACNN-GAN can effectively describe images, and get higher accuracy compared with the state-of-art.

Key words: image description; generative adversarial networks; channel-wise attention model; convolutional neural network

随着科技的快速发展,图像、视频等媒体数据大量出现在互联网中,成为信息传播的主要介质,且呈现出爆

炸性增长的趋势.无标记和错误标记的图像散落在网络当中无法被检索和利用,造成大量资源的浪费.利用机器

 基金项目: 国家广播电视总局广播科学研究院基本科研业务费课题(130016018000123)

Foundation item: Basal Research Fund of Academy of Broadcasting Science, National Radio and Television Administration

(130016018000123)

收稿时间: 2018-04-16; 采用时间: 2018-10-24

薛子育等:一种基于生成式对抗网络的图像描述方法

学习进行图像处理,在图像的分类、识别、描述等应用场景下都取得了很好的效果.将图像和语义相匹配成为

研究的重点和难点,初期的图像语义转换主要利用图像分类和图像识别等方法.图像分类是根据图像信息的不

同特征区分类别信息,分配关键词作为语义关联

[1]

.图像识别是根据图像不同模式的目标和对象,生成描述性单

词或短语作为语义关联

[2]

.初期的图像语义转换方法对图像中对象之间存在的位置、距离、比例分配等关系

并无涉及,对图像信息的挖掘不够深入.随着图像语义转换方法的发展,从图像中获取更多有效的知识成为最需

要解决的问题.近年来已成为研究热点的图像描述方法

[3]

,为解决该问题提供了新的思路.

图像描述是运用机器学习方法对图像进行语句表述的图像理解方法.图像描述作为机器学习的热门研究

方向,在很多领域已经得到了广泛应用,比如影片摘要描述,影片字幕生成,图像检索系统等.图像描述主要包含

两个执行过程:图像特征提取过程和语句拼接生成过程,可以划分为两种:传统机器学习算法与深度模型结合的

方法,以及深度模型实现方法.Chen 等人

[4]

提出的视觉递归描述模型、Fang 等人

[5]

提出的反馈视觉概念模型,都

属于利用传统的机器学习方法提取特征,利用递归神经网络(recurrent neural networks,简称 RNN)进行语句拼

接.Kiros 等人

[6]

提出的统一视觉语义嵌入模型,属于利用卷积神经网络(convolutional neural network,简称 CNN)

提取图像特征, 利用传统的编码器对特征进行句法拼接. 为了适应大量的语句拼接以产生更连贯语

句,Venugopalan 等人

[7]

提出的利用 RNN 的视频描述转换模型、Karpathy 等人

[8]

提出的 NeuralTalk、Vinyals 等

人

[9]

提出的利用 GoogLeNet 的图像描述模型、Mao 等人

[10]

提出的多模态的 RNN、Chen 等人

[11]

提出的 SCA-CNN,

均利用 CNN 提取图像特征,利用 RNN 进行句法拼接,属于直接利用深度模型进行图像描述的方法.

以上图像描述方法的目标识别过程面向整幅图像,没有考虑 CNN 提取特征的准确程度,目标物体的准确性

难以保障.在句法生成过程中,大多利用 RNN 生成语法固定的语句,且不具连贯性和平滑性.针对上述图像描述

方法的不足,本文提出了一种基于生成式对抗网络(generative adversarial networks,简称 GAN)的多频道特征提

取模型,能够有效地从多个频道获取图像特征,通过特征排列的先后顺序选择特征,利用生成式对抗网络训练语

句生成器,以生成平滑连贯的语句.本文主要做了如下 3 个方面的工作.

(1) 提出一种多频道注意力机制的特征提取方法.

(2) 提出一种基于生成式对抗网络的语句生成方法.利用(1)中提出的特征提取模型提取图像特征,将特征

合并成为一组向量作为生成式对抗网络生成器的输入.

(3) 从理论和实验的角度对结合多频道特征提取模型和生成式对抗网络模型的合理性和有效性进行分析.

本文第 1 节介绍图像描述的相关工作.第 2 节给出多频道视觉机制的特征提取方法的合理性解释、介绍基

于生成式对抗网络进行句法生成的基本思路.第 3 节对图像特征提取模型、语句生成模型利用 COCO 图像集

进行实验,与主流算法进行对比,以验证该图像描述方法的合理性和有效性.第 4 节进行总结.

1 相关工作

与传统的图像语义获取方法不同,图像描述方法具有信息量大、关系复杂、表达丰富等显著特性,很多学

者针对图像描述展开了深入研究.目前,主流的图像描述方法大多包括两个主要步骤,利用传统的特征计算方法

或 CNN 进行图像特征提取, 以及利用具有时序信息的递归神经网络进行语句拼接.Show and tell

[9]

以及

NeuralTalk

[8]

作为最经典的图像描述方法,其策略为:利用 CNN 进行特征提取,利用 RNN 模型或利用解决了梯度

消失问题的长短时记忆模型(long short-term memory,简称 LSTM)进行语句拼接.很多学者在此基础上进行了改

进,如 Chen 等人

[1]

提出的视觉递归描述模型,Fang 等人

[5]

提出的反馈视觉概念模型,均采用传统的机器学习方法

提取图像特征,利用深度模型进行语句拼接.传统方法在数据量较小的数据集上表现较好,方法难以适应大规模

图像集.并且传统模型在应对复杂图像时,表现出了特征提取准确度低、硬编码方式对机器要求高、特征提取

时间长等问题.

深度模型适用于大规模复杂图像集,在图像描述中应用较为广泛.Jeff 等人

[12]

通过在时空上构建更为复杂

的双深度模型和增加 CNN 模型的层数,弥补了传统模型在特征提取过程中关键目标缺失等问题,提升了特征提

取的准确率.Kai 等人

[13]

利用基于区域的 CNN 进行特征提取,通过对视频关键帧位置的跟踪和目标大小变化的

of 14

免费下载

软件学报计算机技术

关注

评论