基于语义相似性的跨模态图文内容筛选存储机制研究- 刘渝, 郭婵, 冯树耀, 周可, 肖志立.pdf
免费下载
计 算 机 研 究 与 发 展
DOI
:
１０．７５４４∕issn１０００Ｇ１２３９．２０２１．２０２００３８８
JournalofCom
p
uterResearchandDevelo
p
ment ５８
(
２
):
３３８ ３５５
,
２０２１
收稿日期
:
２０２０
－
０６
－
０８
;
修回日期
:
２０２０
－
０８
－
０７
基金项目
:
国家自然科学基金青年科学基金项目
(
６１９０２１３５
);
国家自然科学基金创新群体项目
(
６１８２１００３
)
Thisworkwassu
pp
ortedb
y
theNationalNaturalScienceFoundationofChinaforYoun
g
Scientists
(
６１９０２１３５
)
andtheInnovation
Grou
p
Pro
j
ectoftheNationalNaturalScienceFoundationofChina
(
６１８２１００３
)
．
通信作者
:
周可
(
zhke＠hust．edu．cn
)
基于语义相似性的跨模态图文内容筛选存储机制研究
刘
渝
１
郭
婵
１
冯 树 耀
１
周
可
１
肖 志 立
２
１
(
华中科技大学武汉光电国家研究中心
武汉
４３００７４
)
２
(
深圳市腾讯计算机系统有限公司技术工程事业群
广东深圳
５１８０５４
)
(
liu
_
y
u＠hust．edu．cn
)
ContentSiftin
g
Stora
g
eMechanismforCrossＧModalIma
g
eandTextDataBased
onSemanticSimilarit
y
LiuYu
１
,
GuoChan
１
,
Fen
g
Shu
y
ao
１
,
ZhouKe
１
,
andXiaoZhili
２
１
(
Wuhan NationalLaborator
yf
orO
p
toelectronics
,
Huazhon
g
Universit
y
o
f
ScienceandTechnolo
gy
,
Wuhan
４３００７４
)
２
(
Technolo
gy
andEn
g
ineerin
g
Grou
p
,
TencentInc
．
,
Shenzhen
,
Guan
g
don
g
５１８０５４
)
Abstract Withtheex
p
losive
g
rowthofmultimediadata
,
thedataincloudbecomeshetero
g
eneous
andlar
g
e．Theconventionalstora
g
es
y
stemsservedfordataanal
y
sisfacethechallen
g
eoflon
g
read
latenc
y
duetothelackofsemanticmana
g
ementofdata．Tosolvethis
p
roblem
,
acrossＧmodalima
g
e
andtextcontentsiftin
g
stora
g
e
(
CITCSS
)
mechanismis
p
ro
p
osed
,
whichsavesthereadbandwidthb
y
onl
y
readin
g
relevantdata．ThemechanismconsistsoftheoffＧlineandonＧlinesta
g
es．IntheoffＧline
sta
g
e
,
thes
y
stemfirstusestheselfＧsu
p
ervisedadversarialHashlearnin
g
al
g
orithmtolearnandma
p
thestoreddatatosimilarHashcodes．Then
,
theseHashcodesareconnectedb
y
Hammin
g
distances
andmana
g
edb
y
themetadatast
y
le．Intheim
p
lement
,
weuseNeo４
j
toconstructthesemanticHash
code
g
ra
p
h．Furthermore
,
weinsertstora
g
e
p
athsintothe
p
ro
p
ert
y
ofnodetoacceleratereadin
g
．In
theonＧlinesta
g
e
,
ourmechanismfirstma
p
stheima
g
eortextre
p
resentedtheanal
y
sisre
q
uirement
intoHashcodesandsendsthemtothesemanticHashcode
g
ra
p
h．Then
,
therelevantdatawillbe
foundb
y
thesiftin
g
radiusonthe
g
ra
p
h
,
andreturnedtotheuserfinall
y
．Benefitin
g
from our
mechanism
,
stora
g
es
y
stemscan
p
erceiveand mana
g
esemanticinformationresultin
g
inadvance
serviceforanal
y
sis．Ex
p
erimentalresultson
p
ubliccrossＧmodaldatasetsshow that CITCSScan
g
reatl
y
reducethereadlatenc
y
b
y
９９．０７％to９９．７７％ withmorethan９８％ recallratecom
p
aredwith
conventionalsemanticstora
g
es
y
stems．
Ke
y
words semanticmana
g
ement
;
Hashcodemetadata
;
metadata
g
ra
p
h
;
stora
g
emechanism
;
read
bandwidth
摘
要
随着多媒体数据的爆发式增长
,
云端数 据呈现 出大规 模多模 态混合 并存的 特性
．
服务于 数据分
析的传统存储系统因为缺乏数据的语义管理而面 临读取 延时超 长的挑 战
．
针对图 像和文 本
２
种模态 数
据
,
在 传 统 存 储 系 统 之 上 提 出 一 种 跨 模 态 图 文 数 据 内 容 筛 选 存 储 机 制
(
crossＧmodalima
g
eandtext
contentsiftin
g
stora
g
e
,
CITCSS
),
用于提供大规模在线相似 性内容 筛选服 务
,
从存储 系统层 面缓解 数
据分析时必须从存储中读出所有数据的 读带宽 压力
．
机制分 为离线 与 在线
２
个阶 段
．
离线 阶 段中
,
引入
基于自监督的生成对抗式
Hash
方法
,
系统利 用这种 方 法生 成 语义 元 数据
．
然后
,
将元 数 据注 入 独立 的
元数据空间
．
最后
,
根据相似性
Hash
码间汉明距离能够度量语义距离的特点
,
利用
Neo４
j
图数据库构建
Hash
元数据图谱
,
并在语义图谱中建立
Hash
码与存储路径之间的映射
．
在线阶段中
,
用户发送与分析
相关的图像或文本
,
存储系统首先转化数据为
Hash
码
．
然后
,
在筛选半径内通过
Hash
元数据图谱寻找
相似节点
,
进而找到相似文件的底层存储路径返回筛选数据
．
实验结果表明
,
与传统语义存储系统相比
,
CITCSS
在召回率超过
９８％
的性能下
,
读取延迟相对降低了
９９．０７％~９９．７７％．
关键词
语义管理
;
Hash
码元数据
;
元数据图谱
;
存储机制
;
读带宽
中图法 分类号
TP３９１
多媒体数据的井喷式增长使得非结构化多模态
数据在云端存储中 占 据的 比 例剧 增
,
进而 催 生了 大
量的分 析 需 求
,
使 得 存 储 系 统 在 满 足 数 据 存 储 稳
定性的同时
,
对数据 分析 的 服务 与 支持 越 来越 受 到
关注
．
然而
,
非结构 化多模 态数据 的分析 需求大 多建
立在内容感知与语 义 关联 之 上
,
这使 得 传统 存 储系
统在提供服务时捉襟见肘
．
一方面
,
传统存储系统只
完成了对数据浅层 内 容的 感 知
,
即对 数 据属 性 的获
取
．
这些属性不 具 备 完 整 描 述 非 结 构 化 数 据 语 义 的
能力
．
另一方面
,
传统存储系统没有为应用分析提供
最佳的数据管 理 与 查 询 结 构
．
现 有 的 树 形 结 构 导 致
语义上相近 的数 据在 存储 逻辑 结 构 中 可 能 相 距 甚
远
．
在这
２
个方面的共同制约下
,
现有存储系统在面
对应用分析 时只 能先 从存 储系 统 中 读 出 所 有 的 数
据
,
从而陷入漫 长 的 读 取 等 待 中
．
以
１
亿 张 图 像
,
每
张图像大小为
１MB
的 分 析 为 例
,
部 署 在 腾讯 数据
中心上的
SATA
硬盘
(
顺序读 取带宽 为
２２０MB
p
s
)
需要
５．２６
天 完 成 读 取
．
更 为 不 幸 的 是
,
被 读 取 的 数
据中 只 有 小 部 分 真 正 参 与 了 实 际 分 析
．
以 腾 讯
QQ
相册所在的 数据 中心 为例
,
我 们 分 别 针 对 含 有
“
动
物
”“
人
”“
植物
”“
风景
”
的数据进行收集与分析
,
来自
６
台服务器内的相关数据分别平均占比仅为
２０．１１％
,
５３．４５％
,
１７．０１％
,
２９．４３％．
大 量 的 数据 经过 简单 分
析并被发现无关后 即 刻被 弃 用
,
但之 前 读取 造 成的
带宽消耗已经无法弥补
．
为解决以 上问题
,
我们设 想是否 可以在 数据读
取前进行简单的筛 选
,
通过 只 读取 与 分析 相 关的 数
据减少读取时 间
．
具 体 的
,
从 语 义 层 面 感 知 数 据
,
获
取表达语义的元数 据
,
之后 建 立新 的 结构 管 理这 些
元数据
．
如果获 取 语 义 元 数 据 与 筛 选 的 时 间 小 于 不
相关数据的读取时 间
,
那么 我 们的 工 作将 是 有效 且
有意义的
．
基于此
,
我们以 非结构 化数据 中占比 最多的 图
像
(
视频的基础内容
)
和文 本 为对 象
,
研究 改 进现 有
的存储系统机制
,
以满 足 在图 像 或文 本 为请 求 的分
析需求下
,
从存储层 面 筛选 内 容语 义 相近 的 图文 进
行读取
,
从而实现支持分析需求的存储系统
．
本文提
出了基于语义相似性的跨模态图文数据内容筛选存
储机制
(
crossＧmodalima
g
eandtextcontentsiftin
g
stora
g
e
,
CITCSS
)
．
并 从 以 下
２
方 面 入 手
:
第 一
,
针
对大规模异构多模 态 的图 文 数据
,
在存 储 环境 下 以
相同范畴感 知 其 语 义
,
以 相 似 性
Hash
码 实 现 图像
和文本之间的统一 空 间表 示
,
以元 数 据形 式 进行 管
理
．
第二
,
在 现 有 的 存 储 系 统 中 以 语 义 元 数 据 为 内
容
,
图谱化关联为结构设计内容筛选功能
,
支持用户
在分析前根据文件 的 语义 相 关性 缩 小读 取 范围
,
从
而节省读取时间和带宽
．
值得一提 的是
,
我们提 出的筛 选机制 适用于 应
用分析场景
,
这种场 景关 注 相关 数 据的 找 到与 相 关
数据表达出的共同规律
．
因为语义筛选机制的引入
,
存在部分相关数据 遗 漏的 问 题
,
但在 较 高的 召 回率
下
,
并不会影响 其 业 务 需 求
．
比 如 检 索 业 务
,
最 为 关
心的是前
N
个数据中的相关数据
,
而不是所有数据
．
本文的主要贡献有
３
个方面
:
１
)
存储环境 下 的 跨 模 态 图 像 文 本 统 一 语 义 表
征算法的嵌入与实现
．
在损失少量精度的前提下
,
采
用二值化
Hash
方法
,
实现轻量级语义
Hash
元数据
管理
．
同时
,
克 服 图 像 和 文 本 之 间 的 模 态 差 异
,
实 现
相似性内容的统一空间融合
;
２
)
语义
Hash
图谱 构 建 的 设 计 与 实 现
．
从 元 数
据层面提供相似内容筛选接口
,
利用语义相近
Hash
码间汉明距离短的特性
,
在
Neo４
j
实现语义关 联
．
并
在元数据图谱中提 供 深度 遍 历接 口
,
支持 相 关节 点
查找
;
３
)
在线筛选相似内 容文件 接口的 设计与 实现
．
基于语义
Hash
图谱中间件
,
在可接受的召 回率下
,
筛选与需求相 关 的 图 像 和 文 本 进 行 返 回
．
在 公 开 的
９３３
刘
渝等
:
基于语义相似性的跨模态图文内容筛选存储机制研究
of 18
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论