基于张量分解的知识超图链接预测模型 - 王培妍, 段磊, 郭正山, 蒋为鹏, 张译丹.pdf
免费下载
计 算 机 研 究 与 发 展
DOI
:
１０．７５４４∕issn１０００Ｇ１２３９．２０２１．２０２１０３１５
JournalofCom
p
uterResearchandDevelo
p
ment ５８
(
８
):
１５９９ １６１１
,
２０２１
收稿日期
:
２０２１
－
０４
－
０１
;
修回日期
:
２０２１
－
０６
－
０３
基金项目
:
国家自然科学基金项目
(
６１９７２２６８
);
国家重点研发计划项目
(
２０１８YFB０７０４３０１Ｇ１
);
四川省科技计划项目
(
２０２０YFG００３４
)
Thisworkwassu
pp
ortedb
y
the NationalNaturalScienceFoundationofChina
(
６１９７２２６８
),
the NationalKe
y
Researchand
Develo
p
mentPro
g
ramofChina
(
２０１８YFB０７０４３０１Ｇ１
),
andtheSichuanScienceandTechnolo
gy
Pro
g
ram
(
２０２０YFG００３４
)
．
通信作者
:
段磊
(
leiduan＠scu．edu．cn
)
基于张量分解的知识超图链接预测模型
王 培 妍
段
磊
郭 正 山
蒋 为 鹏
张 译 丹
(
四川大学计算机学院
成都
６１００６５
)
(
won
gpy
＠stu．scu．edu．cn
)
Knowled
g
eH
yp
er
g
ra
p
hLinkPrediction ModelBasedonTensorDecom
p
osition
Wan
g
Pei
y
an
,
DuanLei
,
GuoZhen
g
shan
,
Jian
g
Wei
p
en
g
,
andZhan
g
Yidan
(
Schoolo
f
Com
p
uterScience
,
SichuanUniversit
y
,
Chen
g
du
６１００６５
)
Abstract Knowled
g
e h
yp
er
g
ra
p
hs contain facts in the real world and
p
rovide a structured
re
p
resentationofthesefacts
,
butthe
y
cannotincludeallfacts．The
y
arehi
g
hl
y
incom
p
lete．Link
p
redictiona
pp
roachesaimatinferrin
g
missin
g
linksbasedonexistin
g
linksbetweenentities
,
sothe
y
arewidel
y
usedinknowled
g
ebasecom
p
letion．At
p
resent
,
mostresearchesfocusonthecom
p
letionof
thebinar
y
relationalknowled
g
e
g
ra
p
hs．However
,
therelationsbetweenentitiesintherealworld
usuall
yg
obe
y
ond
p
airwiseassociations
,
thatis
,
thereare morethantwoentitiesinvolvedina
relation．Com
p
aredwithknowled
g
e
g
ra
p
hs
,
knowled
g
eh
yp
er
g
ra
p
hscanre
p
resentthesecom
p
lex
n
Ｇ
ar
y
relationsinaflexibleand naturalwa
y
．Therefore
,
we
p
ro
p
oseaknowled
g
eh
yp
er
g
ra
p
hlink
p
redictionmodelbasedontensordecom
p
osition
,
calledT
yp
er．Itex
p
licitl
y
modelstherolesofentities
indifferentrelationsand
p
ositions
,
and decom
p
osestherelationstoim
p
rovethe
p
erformance．
Meanwhile
,
considerin
g
that
p
romotin
g
theinformationflowbetweenentitiesandrelationsishel
p
ful
forlearnin
g
embeddin
g
sofentitiesandrelations
,
we
p
ro
p
osetheconce
p
tofwindowstoincreasethe
interactionbetweenentitiesandrelations．Inaddition
,
we
p
roveT
yp
erisfull
y
ex
p
ressiveandderivea
boundonthedimensionalit
y
ofitsembeddin
g
sforfullex
p
ressivit
y
．Weconductextensiveex
p
eriments
on multi
p
le
p
ublicrealＧworld knowled
g
e h
yp
er
g
ra
p
h datasets．Ex
p
erimentsshow that T
yp
eris
effectiveforlink
p
redictioninknowled
g
eh
yp
er
g
ra
p
hsandachievesbetterresultsonallbenchmark
datasetsthanothera
pp
roaches．
Ke
y
words knowled
g
eh
yp
er
g
ra
p
h
;
link
p
rediction
;
knowled
g
ebasecom
p
letion
;
n
Ｇar
y
relation
;
tensordecom
p
osition
;
embeddin
g
learnin
g
摘
要
知识超图包含了现实世界中的事 实
,
并给出 这些事 实的结 构化表 示
．
但知识 超图无 法包括 所有
事实
,
所以其是高度不完整的
．
链接预测方法 致力于 根据现 有实体 间链接 推理缺 失链接
,
因此广 泛应用
于知识库补全
．
目前大多数研究集中于二 元关系 知识图 谱的补 全
．
然而
,
现实 世 界中 实 体间 的 关系 通 常
是非二元的
,
即关系中涉及的实体通常多于
２
个
．
相较于 知识图 谱
,
知识超 图能够 以一种 灵活且 自然的
方式来表示这些复杂的多元关系
．
对此
,
设计一 个基于 张量分 解的 知识 超 图链 接 预测 模 型
T
yp
er
,
显式
地为不同关系以及不同位置上实体的角色 建模
,
并对关 系进行 细化分 解以提 升模型 性能
．
同时
,
考虑到
促进实体与关系间的信息流动有助于学习实体和关系的嵌入表示
,
提出窗口的概念
,
以增加实体与关系
的交互
．
此外
,
证明了
T
yp
er
模型具有完全表达性
,
并给出 了使模 型具有 完全表 达性的 嵌入表 示维度 边
界
．
在多个公开真实知识超图数据集上进行了详实的实验
,
实验表明
T
yp
er
模型能有效解决知识超图链
接预测问题
,
并在所有数据集上取得了较其他方法更好的结果
．
关键词
知识超图
;
链接预测
;
知识库补全
;
多元关系
;
张量分解
;
嵌入学习
中图法 分类号
TP１８１
知识超图是一种 图 结构 的 知识 库
,
通常 以 多元
组的形式存储世界 上 的事 实
,
其可 以 被视 作 知识 图
谱的推广
．
由于现实世界中存在大量事实
,
在知识库
中获取并储存 所 有 事 实 是 不 现 实 的
．
所 以 对 现 有 知
识库的最大挑战是 其 严重 的 不完 整 性
,
即部 分 实体
间的链接是缺失的
．
以
Freebase
[
１
]
为例
,
其储存 有约
３００
万的人 物条目
,
其中
７１％
的人缺 少与出 生地的
链接
,
９４％
的人缺少与父母的链接
,
９９％
的人缺少与
种族的链接
[
２
]
．
面对知识库的高度不完整性
,
手动为
实体间添加链接是 十 分耗 费 人力 和 物力 的
,
因此 产
生了对自动推理实体间缺失链接算法的需求
．
链接预测算法能够基于实体间已知的链接去预
测未知的链接
,
因此可以用于知识库补全
,
同时进一
步促进基于知识 库 的下 游 任务
,
例 如 智 能 问 答
[
３Ｇ４
]
、
个性 化 推 荐
[
５Ｇ６
]
、
自 然 语 言 处 理
[
７
]
和 信 息 检 索
[
８
]
等
．
自从谷歌在
２０１２
年发布了知识图谱
(
一种基于二元
关系构建的图结构知识库
),
基于知识图谱的链接预
测开始受到 关注
,
在 社 交 网络 分析
[
９
]
、
生 物 医 学
[
１０
]
等领域中都取得了极大的进展
．
然而在现实世界中
,
关系通常是非二元的
．
例如
“
梁思成是李蕙仙和梁启
超的儿子
”,
显然在这个事实对应的关系中共涉及到
３
个实体
,
分别为
“
梁思成
”“
李蕙仙
”
和
“
梁启超
”,
因
此该关系是一种更为复杂的多元关系
．
有数据表明
,
在原始
Freebase
数据集 中
,
超过
１∕３
的实 体 参与 到
多元关系中
[
１１
]
,
超过
６１％
的关 系 是多 元 的
[
１２
]
．
可以
看出
,
多元关 系 是 一种 普遍 存在 的关 系
,
因 此
Wen
等人
[
１１
]
提出了知识超图的 概念
,
并证明 了通过
S２C
(
starＧtoＧcli
q
ue
)
和具体化方 法将知 识超 图转 换 为知
识图谱会导致结构信息丢失
．
知识超图 能够保 存事实 间的多 元关系
,
即事实
的完整结构信息
,
因此吸引了研究人员的注意
．
一个
自然而然的想法是将知识图谱中的链接预测模型推
广到知识超 图 中去
,
例如
mＧTransH
[
１１
]
是对
TransH
算法
[
１３
]
的推广
,
mＧCP
[
１２
]
是 对
CP
分 解 算 法
[
１４
]
的 推
广
,
mＧDistMult
[
１２
]
是对
DistMult
算法
[
１５
]
的推 广
．
但
由于这类模型的原 型 是专 为 知识 图 谱设 计 的
,
所以
不可避免地导 致 模 型 在 知 识 超 图 上 效 果 表 现 欠 佳
．
以
mＧDistMult
模 型 为 例
,
其 原 型
DistMult
通 过 将
二元关系表示为对角 矩 阵
,
以建 模
２
个实 体 间的 交
互
．
而在知 识 超 图 中
,
mＧDistMult
仍 然 使 用 对 角 矩
阵来表示多元关系
,
显然 一 个二 维 对角 矩 阵无 法 建
模多于
２
个实体间的交互
,
因此
mＧDistMult
在知识
超图链接预测 任 务 中 效 果 较 差
．
最 近 一 些 研 究 者 们
提出基于嵌入表示学习的方法
,
以解决知识超图中的
链接预测问 题
,
这些 方 法主 要 分为 基 于平 移
(
transＧ
lation
)
的方法
、
基于张 量分解
(
tensordecom
p
osition
)
的方法
、
基 于 图 神 经 网 络
(
g
ra
p
hneuralnetwork
,
GNN
)
的方法 以 及 基 于 键 值 对
(
ke
y
Ｇvalue
p
air
)
的
方法
．
基于平移的方法通常较为简单
,
但是大多数这
类方法不具有完全表达性
,
即不能准确地将事实
(
例
如
:“
地球是一颗行 星
”)
与非 事 实
(
例如
:“
地球 是 一
颗恒 星
”)
区分 开 来
[
１６Ｇ１７
]
．
基于 张 量分 解 的方 法 具有
较强的数学理论基础
,
但通常计算量较大
,
且需要较
多的内存资源
．
基 于 图 神 经 网 络 的 方 法 尽 管 目 前 取
得了不错的实验效 果
,
但是 该 类方 法 是不 透 明且 难
以理解的
[
１８
]
．
基于键 值对 的 方法 易 于理 解
,
但是 通
常需要确定主三元组及辅助键 值对
,
目前对于主三
元组的确定没有统一标准
．
Fi
g
．１ Ato
y
exam
p
leofknowled
g
eh
yp
er
g
ra
p
h
图
１
知识超图的简单示例
知识超图 通常是 有向的
,
即关系 中实体 的排列
是有序的
．
图
１
示例了一个简单的有向知识超图
,
可
以发现
:
１
)
当同一实 体 出 现 在 同 一 关 系 的 不 同 位 置 时
具有不同 角 色
．
例 如
:
当
“
梁 思 成
”
出 现 在
“
子 女 母
亲 父亲
”
关系的首 位时
,
表示 其 是
“
母亲
”
李蕙 仙 和
“
父亲
”
梁启超的
“
子女
”;
当
“
梁思 成
”
出现 在 该关 系
的末位时
,
表示其是
“
子女
”
梁再冰的
“
父亲
”
．
００６１
计算机研究与发展
２０２１
,
５８
(
８
)
of 13
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论