MSRD_ 多模态网络谣言检测方法 - 刘金硕, 冯阔, Jeff Z. Pan, 邓娟, 王丽娜.pdf
免费下载
计 算 机 研 究 与 发 展
DOI
:
１０．７５４４∕issn１０００Ｇ１２３９．２０２０．２０２００４１３
JournalofCom
p
uterResearchandDevelo
p
ment ５７
(
１１
):
２３２８ ２３３６
,
２０２０
收稿日期
:
２０２０
－
０６
－
１０
;
修回日期
:
２０２０
－
０７
－
２４
基金项目
:
国家自然科学基金项目
(
U１９３６１０７
,
６１８７６１３
,
６１６７２３９３
)
Thisworkwassu
pp
ortedb
y
theNationalNaturalScienceFoundationofChina
(
U１９３６１０７
,
６１８７６１３
,
６１６７２３９３
)
．
通信作者
:
邓娟
(
den
gj
uan＠whu．edu．cn
)
MSRD
:
多模态网络谣言检测方法
刘 金 硕
１
冯
阔
１
Jeff Z．Pan
２
邓
娟
１
王 丽 娜
１
１
(
空天信息安全与可信计算教育部重点实验室
,
武汉大学国家网络安全学院
武汉
４３００７２
)
２
(
阿伯丁大学
苏格兰阿伯丁
AB２４３FX
)
(
liu
j
inshuo＠whu．edu．cn
)
MSRD
:
MultiＧModalWebRumorDetection Method
LiuJinshuo
１
,
Fen
g
Kuo
１
,
JeffZ．Pan
２
,
Den
g
Juan
１
,
and Wan
g
Lina
１
１
(
Ke
y
Laborator
y
o
f
Aeros
p
aceIn
f
ormationSecurit
y
and Trusted Com
p
utin
g
,
Ministr
y
o
f
Education
,
Schoolo
f
C
y
ber
ScienceandEn
g
ineerin
g
,
WuhanUniversit
y
,
Wuhan
４３００７２
)
２
(
Universit
y
o
f
Aberdeen
,
Aberdeen
,
ScotlandAB
２４３
FX
)
Abstract The multiＧmodalwebrumorsthatcombineima
g
esandtextsare moreconfusin
g
and
inflammator
y
,
sothe
y
aremoreharmfultonationalsecurit
y
andsocialstabilit
y
．At
p
resent
,
theweb
rumordetectionworkfull
y
considersthetextcontentoftheessa
y
intherumor
,
andi
g
norestheima
g
e
contentandtheembeddedtextintheima
g
e．Therefore
,
this
p
a
p
er
p
ro
p
osesa multiＧmodalweb
rumorsdetectionmethodMSRDfortheima
g
e
,
embeddedtextintheima
g
eandthetextoftheessa
y
basedondee
p
neuralnetworks．This methodusesthe VGGＧ１９networktoextractima
g
econtent
features
,
DenseNettoextractembeddedtextcontent
,
andLSTM networktoextracttextcontent
features．Afterconcatenatin
g
withtheima
g
efeatures
,
themeanandvariancevectorsoftheima
g
eand
textsharedre
p
resentationsareobtainedthrou
g
hthefull
y
connectedla
y
er
,
andtherandomvariables
sam
p
ledfromtheGaussiandistributionareusedtoformareＧ
p
arameterizedmultiＧmodalfeatureand
usedasthein
p
utoftherumordetector．Ex
p
erimentsshowthatthe methodachieves６８．５％ and
７９．４％ accurac
y
onthetwodatasetsofTwitterand Weibo．
Ke
y
words multimodal
;
rumordetection
;
inlinetextinima
g
e
;
naturallan
g
ua
g
e
p
rocessin
g
;
dee
p
neuralnetwork
摘
要
图像和文本相结合的多模态网络谣言由于更具迷惑性和煽动性
,
对国家安全和社会稳定的危害
性更严重
．
目前网络谣言检测工作充分考虑了 谣言中 配文的 文本内 容而忽 略了图 像内容 以及图 像中的
内嵌文本内容
,
因此
,
提出了一种基于深度神经网络针对图像
、
图像内嵌文本 以及配 文文本 内容的 多模
态网络谣言检测方法
MSRD．
该方法使用
VGGＧ１９
网络提取图像内容特 征
,
使用
DenseNet
提取图 像内
嵌文本内容
,
使用
LSTM
网络提取文本内容特征
,
与图像特征串接后
,
通过完全连接层获取图像与文本
共享表示的均值与方差向量
,
借助从高斯分布中采样的随机变量 以形成 重新参 数化的 多模态 特征并作
为谣言检测器的输入进行谣言检测
．
实验表明
:
该方法在
Twitter
和微 博 两大 数 据集 上 达到 了
６８．５％
和
７９．４％
的准确率
．
关键词
多模态
;
谣言检测
;
图像内嵌文本
;
自然语言处理
;
深度神经网络
中图法 分类号
TP３９１
网络谣言因受众广大
、
易于传播等特点
,
能够轻
易煽动群众 焦虑
、
恐 慌 等 情 绪
,
引 发 各 类 群 体 性 事
件
,
严重危害社 会 治 安
．
在 互 联 网 时 代
,
迅 速 普 及 的
各类社交媒体 平 台 成 为 了 谣 言 滋 生 和 传 播 的 温 床
．
为了博取关注
、
引导转发
,
网络谣言逐步由单纯的文
本向图像与文 本 信 息 联 合 等 多 模 态 谣 言 转 型
．
由 于
图像比文本更具有 欺 骗性
,
且其 来 源和 真 实性 难 以
考证
,
因此图 文 联 合 的 网 络 谣 言 更 具 危 害 性
．
因 此
,
准确及时地针对图文联合的多模态网络谣言进行检
测有利于维护社交 平 台舆 情 稳定
、
捍卫 国 家网 络 话
语权和保证社会秩 序 平稳 发 展
,
具有 十 分重 要 的现
实意义
．
目前针对网络谣言的图像内容进行理解从而判
别谣言的方法较为 少 见
,
已有 的 工作 集 中于 识 别谣
言中的文本内容
．
其中一部分工作
[
１Ｇ３
]
采用以 文本内
容和用户信息为主要特征的基于特征构造检测的方
法
,
另一部分工作
[
４Ｇ５
]
以传播时间
、
传播结构
、
语言特
征等方面因素作为 考 量
,
提出 基 于传 播 结构 检 测法
以及时间序列检测法
．
仅有少部 分工作
[
６Ｇ７
]
考虑了 图
像信息
,
利用深度神经网络提取图像特征
,
并联合文
本特征进行谣 言 判 别
．
然 而 这 些 工 作 忽 略 了 图 像 内
嵌文本的处理
,
如图
１
所示
．
该谣言信息包含消息文
本
、
图像和图像内嵌文本
３
部分
．
图像中的文本信息
往往由谣言传播者 人 为添 加
,
用于 增 加谣 言 的可 信
度
．
目前的谣言 检 测 工 作 中 缺 乏 对 图 像 内 嵌 文 本 信
息的挖掘
,
该部分对谣言判别具有重要意义
．
然而如
何有效定位图像内 嵌 文本 区 域
,
并对 其 文本 内 容进
行识别成为主要挑战
．
另外
,
如何有效融合文本特征
与图像特征进行谣言检测成为另一挑战
．
Fi
g
．１ MultiＧmodalWebrumor
图
１
多模态网络谣言
为了解决 以上问 题
,
本文提 出了一 种端到 端的
多模态融合网 络 谣 言 检 测 方 法
．
该 方 法 融 合 了 消 息
文本特征
、
图像内嵌文本特征以及图像内容特征
,
通
过谣言检测器进行谣言判别
．
概括来说
,
本文的主要贡献有
３
个方面
:
１
)
提出了 一个联 合消息 文 本 信 息 以 及 图 像 内
嵌文本 信 息 与 图 像 信 息 的 多 模 态 谣 言 检 测 模 型
MSRD
;
２
)
提出了一 种 基 于 密 集 连 接 网 络 和 空 洞 空 间
金字塔池化模型的图像文本定位方法
;
３
)
提出了一 种 融 合 文 本 特 征 与 图 像 特 征 的 共
享特征表示方法
．
１
相关工作
１．１
图像内嵌文本定位
目前国内外学者对图像内嵌文本定位工作的研
究主要基于深 度 学 习 的 方 法
．
从 技 术 路 线 角 度 主 要
分为
２
种
:
以连 接文 本 提议 网 络
(
connectionisttext
p
ro
p
osalnetwork
,
CTPN
)
[
８
]
为 代 表 的 基 于 区 域 建
议的文本检测方法
,
和以 高 效准 确 的场 景 文本 检 测
器
(
efficient and accurate scene text detector
,
EAST
)
[
９
]
为代表的 基 于图 像 分割 的 文本 检 测方 法
．
CTPN
框架的缺点在于对非水平排列的文本区域定
位效果不佳
;
EAST
检测 器 的缺 点 在于 网 络 的 感 受
野不够充足
,
导致对长文本区域定位效果不佳
．
以上
工作为本文图像文本定位提供了新思路
．
１．２
图像内嵌文本识别
不同于文 本定位 的粗略 二分类 任务
,
图像文 本
识别任务需要进行更 精确 的 分类
．２０１６
年牛 津 大学
视觉几何组团队发表 文献
[
１０
],
使用 卷 积神 经 网络
(
convolutionalneuralnetwork
,
CNN
)
率 先 在 场 景
文本识别领域取得领先 地位
．２０１７
年文 献
[
１１
]
提出
了基于卷 积 循 环 神 经 网 络
(
convolutionalrecurrent
neuralnetwork
,
CRNN
)
的 文 本 检 测 框 架
,
使 用
CNN
提取图像特征
,
使用双向长短时记忆神经网络
(
bidirectionallon
g
shortＧterm memor
y
,
BLSTM
)
提取序列信 息
,
通 过 对 特 征 编 码 输 出 预 测 结 果
,
是
２０１７
年文本检测结 果 最好 的 端到 端 模型 之 一
．２０１８
年众多研究者对已有模型的改进集中在应对任意方
向排列的文本检测上
,
文献
[
１２
]
提出 了 快速 定 向的
文本识别 系统
(
fastorientedtexts
p
ottin
g
,
FOTS
),
文献
[
１３
]
将
“
Textboxes
”
扩展成为
“
Textboxes＋＋
”
以应对任意方向的文本区域
．
综上
,
目前基于深度学
习的文本字符识别方法 通用模 式是使 用
CNN
获取
图像特 征
,
使用
LSTM
获取 序 列特 征
,
最后 使 用 时
序分 类 算 法
(
connectionisttem
p
oralclassification
,
CTC
)
输出识别结果
．
９２３２
刘金硕等
:
MSRD
:
多模态网络谣言检测方法
of 9
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论