自动图像标注技术综述- 马艳春, 刘永坚, 解庆, 熊盛武, 唐伶俐.pdf
免费下载
计 算 机 研 究 与 发 展
DOI
:
１０．７５４４∕issn１０００Ｇ１２３９．２０２０．２０１９０７９３
JournalofCom
p
uterResearchandDevelo
p
ment ５７
(
１１
):
２３４８２３７４
,
２０２０
收稿日期
:
２０１９
－
１１
－
１８
;
修回日期
:
２０２０
－
０４
－
２１
基金项目
:
国家自然科学基金项目
(
６１６０２３５３
);
中央高校基本科研业务费专项资金
(
WUT
:
２０１７YB０２８
)
Thisworkwassu
pp
ortedb
y
theNationalNaturalScienceFoundationofChina
(
６１６０２３５３
)
andtheFundamentalResearchFunds
fortheCentralUniversities
(
WUT
:
２０１７YB０２８
)
．
通信作者
:
解庆
(
felixx
q
＠whut．edu．cn
)
自动图像标注技术综述
马 艳 春
刘 永 坚
解
庆
熊 盛 武
唐 伶 俐
(
武汉理工大学计算机科学与技术学院
武汉
４３００７０
)
(
ma
y
anchun＠whut．edu．cn
)
ReviewofAutomaticIma
g
eAnnotationTechnolo
gy
MaYanchun
,
LiuYon
gj
ian
,
XieQin
g
,
Xion
g
Shen
g
wu
,
andTan
g
Lin
g
li
(
Schoolo
f
Com
p
uterScienceandTechnolo
gy
,
WuhanUniversit
y
o
f
Technolo
gy
,
Wuhan
４３００７０
)
Abstract Asoneofthemosteffectivewa
y
storeducethe
“
semantic
g
a
p
”
betweenima
g
edataandits
content
,
automaticima
g
eannotation
(
AIA
)
technolo
gy
hasshownits
g
reatsi
g
nificancetohel
pp
eo
p
le
understandima
g
econtentsandretrievethetar
g
etinformationfrom the massiveima
g
edata．This
p
a
p
ersummarizesthe
g
eneralframeworkofAIA modelsb
y
investi
g
atin
g
theliteraturesaboutima
g
e
annotationinrecent２０
y
ears
,
andanal
y
zesthe
g
eneral
p
roblemstosolvein AIA
p
roblemsb
y
combinin
g
theframeworkwithvariouss
p
ecificworks．Inthis
p
a
p
er
,
themainmethodsusedinvarious
AIA modelsareclassifiedinto９t
yp
es
:
correlationmodel
,
hiddenMarkovmodel
,
to
p
icmodel
,
matrix
factorizationmodel
,
nei
g
hborＧbased model
,
SVMＧbased model
,
g
ra
p
hＧbased model
,
CCA
(
KCCA
)
modelanddee
p
learnin
g
model．Foreacht
yp
eofima
g
eannotation model
,
this
p
a
p
er
p
rovidesa
detailedstud
y
andanal
y
sisintermsof
“
basic
p
rinci
p
leintroductionＧs
p
ecificmodeldifferencesＧmodel
summar
y
”
．Inaddition
,
this
p
a
p
ersummarizessomecommonl
y
useddatasetsandevaluationindexes
,
andcom
p
aresthe
p
erformanceofsomeim
p
ortantima
g
eannotationmodelswithrelatedanal
y
sisonthe
advanta
g
esanddisadvanta
g
esofvarioust
yp
esof AIA models．Finall
y
,
someo
p
en
p
roblemsand
researchdirectionsinthefieldofima
g
eannotationare
p
ro
p
osedandsu
gg
ested．
Ke
y
words automaticima
g
eannotation
;
ima
g
esemanticanal
y
sis
;
ima
g
eta
gg
in
g
;
ima
g
econtentlabel
;
ima
g
econtentannotation
摘
要
图像自动标注技术是减少图像数据与内容之间
“
语义鸿沟
”
的其中一种最有效途径
,
对于帮助人
类理解图像内容
,
从海量图像数据中检索感兴 趣的信 息具有 重要现 实意义
．
通过研 究近
２０
年公开 发表
的图像标注文献
,
总结了图像标注模型的一般性框架
;
并通过该框架结合各 种具体 工作
,
分析出 在图像
标注研究过程中需要解决的一般性问题
;
将各种图像标注模型所采用的主要方法归为
９
种类型
,
分别为
相关模型
、
隐
Markov
模型
、
主题模型
、
矩阵分解模型
、
近邻模型
、
基于支持向量机的模型
、
图模型
、
典型
相关分析模型以及深 度 学 习 模 型
,
并 对 每 种 类 型 的 图 像 标 注 模 型
,
按 照
“
基 本 原 理 介 绍
—
具 体 模 型差
异
—
模型总结
”
３
个层面进行了研究与 分析
．
此外
,
总结 了 图像 标 注模 型 常用 的 一些 数 据集
、
评测 指 标
,
对一些比较著名的标注模型的性能进行了比较
,
并据此 对各种 类型的 标注模 型做了 优缺点 分析
．
最后
,
提出了图像标注领域一些开放式问题和研究方向
．
关键词
自动图像标注
;
图像语义分析
;
图像标识
;
图像内容标签
;
图像内容标注
中图法 分类号
TP３９１
随着计算机软硬件
、
互联网
、
大数据及分布式存
储等技术的不断成 熟 和快 速 发展
,
图像 数 据在 数 量
和内容上呈现爆炸式增 长
．２０１７
年
１
月中 国 互联 网
络信 息 中 心
(
ChinaInternetNetworkInformation
Center
,
CNNIC
)
发布的
«
中国互联网发展状况统计
报告
»
显示
,
网页中的图片所占比率已达总的多媒体
形式的
７９．６３％
,
以数字图像作为载体也是文化资源
数字化的最主要方式
．
然而
,
在数字图像数据保持高
速增长的同时
,
人们对 图 像数 据 的利 用 能力 却 没有
随之增强
．
究其原因
,
是计算机难以通过图像的低 层
视觉特征提取出可 供 人类 理 解的 高 层语 义 信息
,
低
层视觉特征和高层语义特征之间存在
“
语义鸿沟
”
的
缺陷
．
这也导致 我 们 在 应 对 大 规 模 图 像 数 据 时 缺 少
有效的检索方案
,
从而难以获取所需信息
．
图像自动标注技术是减少
“
语义鸿沟
”
的最有效
的途径之一
,
其以图像为研究目标
,
以知识为研究手
段
,
利用人工智能和 模 式识 别 等方 法 完成 对 图像 内
容的语义解释
,
使计算 机 系统 自 动获 取 图像 蕴 含的
信息内容
,
从而协助人们完成对图像信息的获取
,
检
索到感兴趣的 内 容
．
因 此 研 究 图 像 的 自 动 标 注 技 术
和算法
,
对于帮助人类 从 海量 图 像数 据 中检 索 兴趣
内容
,
获取所需信息
,
具有重要现实意义
．
在
２００３
年以前
,
国内外学者对图像自动标注技
术的研究仍然处于 初 级探 索 阶段
,
随后 广 大学 者 不
但加强了对该技术 的 关注 度
,
同时 也 取得 了 一定 的
研究成果
．
考察已有研究成果
,
大部分工作仍是将解
决或缩小图像的视觉特征表达与高层语义信息之间
的鸿沟问题作为研究重点
,
主要探索方向为
:
１
)
选取
鲁棒性强
、
适应广泛的图像特征
;
２
)
建立有效的计算
模型
;
３
)
设计更加适用的标注算法
,
使图像标注的上
下文信息得到更加充分 的 利用
;
４
)
针对 图 像本 身 数
据量大
、
标签空间特征维度高
、
已有图像标签环境复
杂的特点
,
如何在不 影 响性 能 的情 况 下降 低 标签 空
间维度
,
去除已 有 图 像 的 标 签 噪 声
．
到 目 前 为 止
,
对
各种已经出现的图 像 标注 模 型进 行 统一 分 类
、
梳理
的综述性工作仍然 相 对缺 乏
,
少量 的 综述 性 研究 工
作
[
１Ｇ４
]
往往存在分类单一
、
归类模糊以及综合性不强
等问题
．
因此
,
本文旨在通过深入分析和研究公开 发
表的图像标注文献
,
系统归类已有图像标注模型
,
总
结各类模型的优缺点
、
一般性问题及一般性框架
,
为
后续图像自动标注领域的研究工作提供帮助与思路
．
本文的贡献
:
１
)
通过研究近
２０
年公开发表的图
像标注文献
,
总结了图像标注模型的一般性框架
;
并
通过该框架结合各 种 具体 工 作
,
分析 出 在图 像 标注
问题中需要解决 的 一般 性 问 题
．２
)
对 各 种 图 像 标 注
模型按照其主要使 用 的方 法 类型 进 行了 归 类
;
对每
一类方法类型的图 像 标注 模 型
,
首先 进 行了 基 本的
原理介绍
,
然后对该 方 法类 型 下的 图 像标 注 模型 之
间的差异进行了具 体 的分 析
,
最后 对 每一 类 方法 类
型的标注模型做 简 单总 结
．３
)
总 结 了 一 些 比 较 著 名
的标注模型的性能 和 实验 数 据
,
并据 此 对各 种 方法
类型的标注模型 做 了优 缺 点 分 析
．４
)
总 结 了 图 像 标
注模型常用的一 些 数据 集 和 评 测 指 标
．５
)
给 出 了 图
像标注领域一些开放式问题和研究方向
．
１
图像标注的一般问题
图像的自动标注是利用人工智能或模式识别等
计算机方法对数字图 像 的低 层 视觉 特 征进 行 分析
,
从而对图像打 上 特 定 语 义 标 签 的 一 个 过 程
．
本 文 通
过对近
２０
年各种图像标 注 模型
(
方法
)
进行 深 入分
析与研究
,
总结出图像标注模型的通用框架
(
如图
１
所示
),
并依据通用 框 架中 对 应的 各 部分 内 容
,
归纳
出图像标注技术中存在的一些一般性问题
．
如图
１
所示
,
图像的 标注框 架总体 可分为
３
个
模块
,
包括
２
个特征提取模块和
１
个标注模型模块
．
其中
,
２
个特 征 提取 模 块表 示 通过 图 像的 特 征提 取
方法以及词汇
(
标签
)
的特征提取方法可分别得到对
应的图像低层视觉特 征与 标 注词 特 征
(
也称 为 标签
特征
)
．
图像的标注模型表示通过需要建立最关键的
“
图像 标签
(
IＧW
)”
之间的 关联关 系
,
并通过 该关联
关系和低层视觉特征 对 未标 注 图像 进 行标 签 预测
;
同时
,
更进一步地充分利用
“
图像 图像
(
IＧI
)”、“
标签
标签
(
WＧW
)”
关系对标注模 型进行 优化
,
使其得 到
更加稳健和鲁棒的标注结果
．
图像的低层视觉特征提取方法包括全局特征提
取方法
(
如颜色
、
形状
、
纹理
、
直方 图 等
)
以及 局 部特
征提取方法
(
如
SIFT
(
scaleinvariantfeaturetransＧ
form
)
角点
、
斑点等
);
词汇的特征提取方法包括
“
oneＧ
hot
”
以及
“
word２vec
”
等
．
根据标 注模型 的不同
,
研究
人员往往需要选择不同的特征提取方法使选取的特
征能够适应特定的 应 用场 景
,
从而 促 进模 型 性能 的
９４３２
马艳春等
:
自动图像标注技术综述
of 27
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论