基于融合多尺度标记信息的深度交互式图像分割 - 丁宗元, 孙权森, 王涛, 王洪元.pdf
免费下载
计 算 机 研 究 与 发 展
DOI
:
１０．７５４４∕issn１０００Ｇ１２３９．２０２１．２０２１０１９５
JournalofCom
p
uterResearchandDevelo
p
ment ５８
(
８
):
１７０５ １７１７
,
２０２１
收稿日期
:
２０２１
－
０２
－
２８
;
修回日期
:
２０２１
－
０５
－
２５
基金项目
:
国家自然科 学基 金 项目
(
６１８０２１８８
,
６１６７３２２０
,
６１９７６０２８
);
江 苏省 自 然科 学 基金 项 目
(
BK２０１８０４５８
);
中 国 博 士 后 科 学 基 金 项 目
(
２０２０M６８１５３０
)
Thisworkwassu
pp
ortedb
y
the NationalNatualScienceFoundationofChina
(
６１８０２１８８
,
６１６７３２２０
,
６１９７６０２８
),
the Natural
ScienceFoundationofJian
g
suProvince
(
BK２０１８０４５８
),
andtheChinaPostdoctoralScienceFoundation
(
２０２０M６８１５３０
)
．
基于融合多尺度标记信息的深度交互式图像分割
丁 宗 元
１
孙 权 森
１
王
涛
１
王 洪 元
２
１
(
南京理工大学计算机科学与技术学院
南京
２１００９４
)
２
(
常州大学计算机与人工智能学院
江苏常州
２１３１６４
)
(
dz
y
ha２０１１＠１６３．com
)
Dee
p
InteractiveIma
g
eSe
g
mentationBasedonFusion MultiＧScaleAnnotation
Information
Din
g
Zon
gy
uan
１
,
SunQuansen
１
,
Wan
g
Tao
１
,
and Wan
g
Hon
gy
uan
２
１
(
Schoolo
f
Com
p
uterScienceandTechnolo
gy
,
Nan
j
in
g
Universit
y
o
f
ScienceandTechnolo
gy
,
Nan
j
in
g
２１００９４
)
２
(
Schoolo
f
Com
p
uterScienceandArti
f
icialIntelli
g
ence
,
Chan
g
zhouUniversit
y
,
Chan
g
zhou
,
Jian
g
su
２１３１６４
)
Abstract Existin
g
dee
p
interactiveima
g
e se
g
mentation al
g
orithms calculate distance ma
p
s or
Gaussian ma
p
sfortheclickＧannotations
,
andthenconcatenatethem withtheima
g
easthein
p
utof
network．Theinfluenceran
g
eofeachclickisthesame
,
butthe
p
ur
p
oseofeachinteractionisdifferent．
Themainroleoftheearl
y
interactionisselection
,
andthelater
p
refersfineＧtunin
g
．Tothisend
,
a
dee
p
interactiveima
g
ese
g
mentational
g
orithmfusedwith multiＧscalelabelinformationis
p
ro
p
osed．
First
,
b
y
settin
g
differentGaussianradius
,
two
g
rou
p
sofGaussian ma
p
swithdifferentscalesare
calculatedforeachclick．Secondl
y
,
b
y
fusin
g
withthesmallscaleGaussian ma
p
s
,
andsomedownＧ
sam
p
lin
g
modulesinthebasicse
g
mentationnetworkareremoved
,
hencericherdetailedfeaturesof
tar
g
etsareextracted．Atthesametime
,
inordertomaintaintheinte
g
rit
y
ofthetar
g
etse
g
mentation
results
,
anonＧlocalfeatureattentionmoduleis
p
ro
p
osedandthismodulefuseslar
g
escaleGaussian
ma
p
s．Finall
y
,
accordin
g
tothe
p
robabilit
y
information
p
rovidedb
y
theGaussianma
p
,
a
p
robabilit
y
clicklossis
p
ro
p
osedtoenhancethese
g
mentation
p
erformanceofthetar
g
etneartheclick
p
oint．
Ex
p
erimentalresultsshowthatthe
p
ro
p
osedal
g
orithm cannotonl
y
maintaintheinte
g
rit
y
ofthe
se
g
mentation
,
butalsoobtainthese
g
mentationresultsofthetar
g
etdetails
,
which
g
reatl
y
reducesthe
usersinteractionburden．
Ke
y
words interactiveima
g
ese
g
mentation
;
dee
p
learnin
g
;
multiＧscaleannotation
;
Gaussian ma
p
s
;
p
robabilit
y
clickloss
摘
要
现有深度交互式图像分割算法通过对单击点计算距离映射或者高斯映射
,
然后将其与图 像进行
拼接作为网络的输入
．
每个单击点的影响范围是 相同的
,
而每 个 交互的 目的并 不相同
,
早期 交 互的主 要
目的为选择
,
后期则更侧重微调
．
基于 此
,
提出 了 融合多 尺度标 记 信息 的 深度 交 互图 像 分割 算 法
．
首 先
,
通过设置不同高斯半径
,
对每个单击点计算
２
组不同尺度的高斯映射
．
然后
,
融合小尺度高斯映射
,
并移
除基础分割网络中的部分下采样模块
,
使网 络提 取 更丰 富 的细节 特征
．
同时
,
为了 保 持目标 分割结 果的
完整性
,
提出了非局部特征注意力模块
,
该模块融合了大尺度高斯映射
．
最后
,
根据高斯映射提供的概率
信息
,
提出了概率单击损失
,
提升目标在单击附近的分割表现
．
实验结果表明
:
提出的算法既能保持分割
的完整性
,
又能得到目标细节的分割结果
,
大大降低了用户的交互负担
．
关键词
交互式图像分割
;
深度学习
;
多尺度标记
;
高斯映射
;
概率单击损失
中图法分类号
TP３９１
图像分割是通过计算机视觉算法将图像划分为
若干内部连通却彼 此 特征 互 异的 区 域
,
优秀 的 分割
结果可以显著提升 计 算机 视 觉的 其 他任 务 表现
,
例
如目标检测
,
图像识别等
．
传统图像分割算法对图像
中的目标缺乏偏好性
．
而为了获取用户感兴趣目标
,
交互式图像分 割 算 法 被 提 出
．
通 过 引 入 少 量 的 用 户
标记
(
边界框
、
画线
、
单击等
),
将这些标记作为先验
,
从而指导网络分割出用户感兴趣目标
,
此外
,
先验能
够对网络分割 的 结 果 起 到 很 好 的 修 正 作 用
．
交 互 式
图像分割在图像编 辑
、
医疗 图 像分 析 等领 域 都有 着
广泛的应用
[
１Ｇ３
]
．
传统的交 互式图 像分割 算法主 要利用 颜色
、
纹
理等手工特征设计算法
．
在此基础上
,
一些基于图论
的交 互式 图 像分 割 算法 被 提出
,
例如
Gra
p
hCut
[
４
]
,
GrabCut
[
５
]
,
Random walks
[
６
]
等
．
这些算法在一些简
单的图像上获 得 了 较 好 的 分 割 结 果
．
然 而 这 些 简 单
的手工特征对一些 复 杂图 像 缺乏 鲁 棒性
,
导致 算 法
性能急剧下降
．
而近些年随着深度学习的成功应用
,
深度特征逐渐取代 传 统手 工 特征
,
大大 提 升了 交 互
式图像分割的性能
．
在基于深 度学习 的交互 式图像 分割领 域
,
涌现
了大量性能优 异 的 网 络 模 型
．
深 度 交 互 式 目 标 选 择
(
dee
p
interactiveob
j
ectselection
)
[
７
]
首 次 将 深 度 学
习应用在交互式图 像 分割 领 域
,
基于 全 卷积 神 经网
络模型
(
full
y
convolutionalneuralnetwork
,
FCN
)
[
８
]
,
用户通过单击的方 式 提供 前 景与 背 景的 先 验
,
然后
计算图像中 的所 有像 素到 用户 单 击 点 的 欧 氏 距 离
(
为了便于存储
,
在大于
２５５
处截断
)
获得交互映射
,
将交互映射 与原 始图 像相 拼接 作 为 网 络 的 原 始 输
入
,
从而获 得 用 户 感 兴 趣 的 目 标
．
这 种 模 型 结 构 简
单
,
但依然能够获取 比 传统 手 工特 征 更好 的 分割 效
果
．
基于这种融 合 用 户 交 互 信 息 的 思 想 也 被 其 他 深
度交互式图 像 分 割 算 法 应 用
[
９Ｇ１１
]
．
这 种 结 合 用 户 交
互信息作为网络初始输入来指导网络分割的思想被
称作先融合策略
．
然而
,
先融合策略会使得用户交互
信息随着网络的加 深 而逐 渐 衰减
,
从而 在 编码 器 部
分很难获得交互信息的持续监督
．
因此
,
一些基于后
融合策略的算法被提出
[
１２Ｇ１３
]
,
具体而言
,
对交互信息
单独卷积
,
从而与编码器的高级特征进行融合
,
这样
的做法使得交互信息 更 多地 体 现在 选 择的 作 用上
,
因此对主网络的分割精度要求较高
．
此外
,
通过计算
欧氏距离来 构建 交互 映射 的方 式 具 有 一 些 固 有 问
题
:
首先
,
由于原始 输 入图 像 需要 进 行归 一 化处 理
,
而用户交互映射上的所有值分布在
０~２５５
,
因此会
使得网络对于用户 交 互过 于 敏感
,
从而 增 加用 户 交
互的次数
;
其次
,
由于对于像素到每个交互点的欧氏
距离在
２５５
处截断
,
使得 每 个交 互 点的 影 响范 围 固
定且比较大
,
从而对 于目 标 细小 区 域很 难 获得 令 人
满意的效果
．
究其本质
,
对于不同的单击交互点的作
用并不相同
,
对于大区域的交互
,
其作用更多体现在
选择
,
而细小区域的交互更多体现了微调的作用
．
在
文献
[
９
]
中
,
作者第
１
次利用高斯分布来表达用户的
交互信息
,
使得交互映 射 的值 分 布在
０~１
之间
,
实
验表明这种方法能够显著提升深度交互式图像分割
算法的性能
．
而
Forte
等 人
[
１４
]
对 于 每 个 交 互 点 计 算
了
３
种不同尺度的高 斯 映射
,
其消 融 实验 可 以看 出
该方法能够显 著 提 升 算 法 的 分 割 精 度
．
但 这 种 方 法
是直接将
３
种尺度交 互 信息 作 为网 络 的输 入
,
并未
将其不同作用分开
,
因此有进一步提升的空间
．
文献
[
１５
]
将用户交互的不 同 作用 分 开
,
着重 强 调了 用 户
的初始交互
,
利用双 路网 络 的结 构 对初 始 单击 映 射
单独进行特征提取
,
从而 使 得网 络 基于 初 始交 互 的
结果具有更好的位置指导能力以及容错能力
．
为了解决 以上的 问题
,
本文提 出了基 于多尺 度
标记信息融合的深度交互式图像分割算法
．
首先
,
对
用户单击点计算
２
组不 同 尺度 的 高斯 映 射图
,
即先
计算每个点到用户 单 击点 的 欧氏 距 离
,
然后 基 于欧
氏距离计算高斯分 布
,
通过 设 置不 同 的高 斯 半径 获
得不同尺度的交互映射图
．
其次
,
基于最新的语义分
割框架
Dee
p
LabV３＋
[
１６
]
,
设计出融合不同尺度交互
映射的双路网 络 结 构 用 于 提 取 目 标 的 多 尺 度 特 征
．
原始
Dee
p
LabV３＋
[
１６
]
的编 码 器会 过 早 将 特 征 图 缩
小多倍
,
从而影 响 提 取 目 标 的 细 节 特 征
．
因 此
,
基 础
分割 网 络的 编码 器在
ResNet５０
[
１７
]
的 基 础 上
,
移 除
了最大池化层
,
避免小 目 标被 大 幅度 下 采样 而 过早
丢失较多的细 节 信 息
．
同 时 为 了 保 持 目 标 的 非 局 部
６０７１
计算机研究与发展
２０２１
,
５８
(
８
)
of 13
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论