图神经网络加速结构综述 - 李涵, 严明玉, 吕征阳, 李文明, 叶笑春, 范东睿, 唐志敏.pdf
免费下载
计 算 机 研 究 与 发 展
DOI
:
１０．７５４４∕issn１０００Ｇ１２３９．２０２１．２０２１０１６６
JournalofCom
p
uterResearchandDevelo
p
ment ５８
(
６
):
１２０４ １２２９
,
２０２１
收稿日期
:
２０２１
－
０３
－
０１
;
修回日期
:
２０２１
－
０４
－
２６
基金项目
:
国家自然科学基金项目
(
６１７３２０１８
,
６１８７２３３５
,
６１８０２３６７
);
中国科学院 国际伙 伴计划
(
１７１１１１KYSB２０２００００２
);
数学 工程与 先进计
算国家重点实验室开放基金
(
２０１９A０７
)
This work wassu
pp
orted b
y
the National NaturalScience Foundation of China
(
６１７３２０１８
,
６１８７２３３５
,
６１８０２３６７
),
the
InternationalPartnershi
p
Pro
g
ramofChineseAcadem
y
ofSciences
(
１７１１１１KYSB２０２００００２
),
andtheO
p
enPro
j
ectPro
g
ramofthe
StateKe
y
Laborator
y
ofMathematicalEn
g
ineerin
g
andAdvancedCom
p
utin
g
(
２０１９A０７
)
．
通信作者
:
严明玉
(
y
anmin
gy
u＠ict．ac．cn
)
图神经网络加速结构综述
李
涵
１
,
２
严 明 玉
１
,
２
吕 征 阳
１
,
２
李 文 明
１
叶 笑 春
１
范 东 睿
１
,
２
唐 志 敏
１
,
２
１
(
计算机体系结构国家重点实验室
(
中国科学院计算技术研究所
)
北京
１００１９０
)
２
(
中国科学院大学
北京
１０００４９
)
(
lihanＧams＠ict．ac．cn
)
Surve
y
onGra
p
hNeuralNetworkAccelerationArchitectures
LiHan
１
,
２
,
Yan Min
gy
u
１
,
２
,
LüZhen
gy
an
g
１
,
２
,
LiWenmin
g
１
,
YeXiaochun
１
,
FanDon
g
rui
１
,
２
,
and
Tan
g
Zhimin
１
,
２
１
(
StateKe
y
Laborator
y
o
f
Com
p
uterArchitecture
(
Instituteo
f
Com
p
utin
g
Technolo
gy
,
ChineseAcadem
y
o
f
Sciences
),
Bei
j
in
g
１００１９０
)
２
(
Universit
y
o
f
ChineseAcadem
y
o
f
Sciences
,
Bei
j
in
g
１０００４９
)
Abstract Recentl
y
,
theemer
g
in
gg
ra
p
hneuralnetworks
(
GNNs
)
havereceivedextensiveattention
fromacademiaandindustr
y
duetothe
p
owerful
g
ra
p
hlearnin
g
andreasonin
g
ca
p
abilities
,
andare
consideredtobethecoreforcethat
p
romotesthefieldofartificialintelli
g
enceintothe
“
co
g
nitive
intelli
g
ence
”
sta
g
e．SinceGNNsinte
g
ratetheexecution
p
rocessofbothtraditional
g
ra
p
h
p
rocessin
g
andneuralnetwork
,
ah
y
bridexecution
p
atternnaturall
y
exists
,
which makesirre
g
ularandre
g
ular
com
p
utation and memor
y
access behaviors coexist．This execution
p
attern makes traditional
p
rocessorsandtheexistin
gg
ra
p
h
p
rocessin
g
andneuralnetworkaccelerationarchitecturesunableto
co
p
ewiththetwoo
pp
osin
g
executionbehaviorsatthesametime
,
andcannotmeettheacceleration
re
q
uirementsofGNNs．Tosolvetheabove
p
roblems
,
accelerationarchitecturestailoredforGNNs
continuetoemer
g
e．The
y
customizecom
p
utin
g
hardwareunitsandonＧchi
p
stora
g
elevelsforGNNs
,
o
p
timizecom
p
utationandmemor
y
accessbehaviors
,
andhaveachievedaccelerationeffectswell．Based
onthechallen
g
esfaced b
y
the GNN accelerationarchitecturesinthedesi
g
n
p
rocess
,
this
p
a
p
er
s
y
stematicall
y
anal
y
zes and introduces the overall structure desi
g
n and the ke
y
o
p
timization
technolo
g
iesin thisfield from com
p
utation
,
onＧchi
p
memor
y
access
,
offＧchi
p
memor
y
access
res
p
ectivel
y
．Finall
y
,
thefuturedirectionofGNN accelerationstructuredesi
g
nis
p
ros
p
ectedfrom
differentan
g
les
,
anditisex
p
ectedtobrin
g
certainins
p
irationtoresearchersinthisfield．
Ke
y
words
g
ra
p
h neuralnetwork
;
h
y
bridexecution
p
attern
;
accelerationarchitecture
;
artificial
intelli
g
ence
;
domainＧs
p
ecificarchitecture
摘
要
近年来
,
新兴的图神经网络因其强大的图学习和推理能力
,
得到学术界和工业界的广泛关注
,
被
认为是推动人工智能领域迈入
“
认知智能
”
阶段的 核心力 量
．
图神经 网络融 合传统 图计算 和神经 网络的
执行过程
,
形成了不规则与规则的计算和访存行为共存的混合执行模式
．
传统处理器结构设计以及面向
图计算和神经网络的加速结构不能同时应对
２
种对立的执行行为
,
无法满足图神经网络的加速需求
．
为
解决上述问题
,
面向图神经网络应用的专用加速结构不断涌现
,
它们为图神经网络定制计算硬件单元和
片上存储层次
,
优化计算和访存行为
,
取得了 良好的 加速效 果
．
以图神 经网络 执行行 为带来 的加速 结构
设计挑战为出发点
,
从整体结构设计以及计算
、
片上访存
、
片外访存层次对该 领域的 关键优 化技术 进行
详实而系统地分析与介绍
．
最后还从不同角度对图神经网络加速结构设计的未来方向进行了展望
,
期望
能为该领域的研究人员带来一定的启发
．
关键词
图神经网络
;
混合执行模式
;
加速结构
;
人工智能
;
领域专用架构
中图法 分类号
TP３０３
人 工 智 能 时 代
,
包 括 卷 积 神 经 网 络
(
convoluＧ
tionalneuralnetworks
,
CNNs
)、
循 环 神 经 网 络
(
recurrentneuralnetworks
,
RNNs
)
等在 内 的机 器
学习应用为社会与生活的智能化做出了革新性的巨
大贡献
．
然而传 统 的 神 经 网 络 只 能 处 理 来 自 欧 几 里
得空间
(
Euclideans
p
ace
)
的 数 据
[
１
]
,
该 类 分 布 规 整
且结构固定的数据无法灵活地表示事物间的复杂关
系
．
现实生活中
,
越来越多的场景采用图作为表征数
据属性与关系 的 结 构
．
非 欧 几 里 得 空 间 中 的 图 结 构
理论上能够表征世间万物的互联关系
(
如社交网络
、
路线图
、
基因结 构 等
)
[
２
]
,
具有 极 为丰 富 和强 大 的数
据表达能力
．
图计算是一种能够对图进行处理
,
深入
挖掘图数据内潜藏 信 息的 重 要应 用
,
但其 不 具备 对
图数据进行学习的能力
．
受到传 统神经 网络与 图计算 应用的 双重启 发
,
图神经 网 络
(
g
ra
p
hneuralnetworks
,
GNNs
)
应 运
而生
．
图神经网 络 使 得 机 器 学 习 能 够 应 用 于 非 欧 几
里得空间的图结构中
,
具备对图进行学习的能力
．
目
前图神经网络 已经 广 泛应 用 到节 点 分类
[
３
]
、
风控 评
估
[
４
]
、
推荐系统
[
５
]
等众多场景中
．
并且图 神经网 络被
认为是推动人工智能从
“
感知 智能
”
阶段 迈 入
“
认知
智能
”
阶段的核 心 要素
[
６Ｇ８
]
,
具有 极 高的 研 究和 应 用
价值
．
图神经网络的执行过程混合了传统图计算和神
经网络应用的 不 同 特 点
．
图 神 经 网 络 通 常 包 含 图 聚
合和图更新
２
个主 要 阶 段
．１
)
图 聚 合 阶 段 的 执 行 行
为与传统图计算相 似
,
需要 对 邻居 分 布高 度 不规 则
的图进行遍历
,
为每个节点进行邻居信息的聚合
,
因
此这一阶段 具有 极为 不规 则的 计 算 和 访 存 行 为 特
点
．２
)
图更新阶段的执行行为与传统神经网络相似
,
通过 多 层 感 知 机
(
multiＧla
y
er
p
erce
p
trons
,
MLPs
)
等方式来进行节点 特 征向 量 的变 换 与更 新
,
这一 阶
段具有规则的计算和访存行为特点
．
图神经网络的混合执行行为给应用的加速带来
极大挑战
,
规则与不 规 则的 计 算与 访 存模 式 共存 使
得传统处理器 结 构 设 计 无 法 对 其 进 行 高 效 处 理
．
图
聚合阶段高度不规则 的执 行行 为 使得
CPU
无法 从
其多层次缓存 结 构 与 数 据 预 取 机 制 中 获 益
．
主 要 面
向密集规则型计算的
GPU
平台也因图聚合阶段图
遍历的不规则性
、
图更 新 阶段 参 数共 享 导致 的 昂贵
数据复制和线程同步开销等因素无法高效执行图神
经网络
[
９
]
．
而已 有 的面 向 传统 图 计算 应 用和 神 经 网
络应用的专用加速 结 构均 只 关注 于 单类 应 用
,
无法
满足具有混合 应 用 特 征 的 图 神 经 网 络 加 速 需 求
．
因
此为图神经网络专门设计相应的加速结构势在必行
．
自
２０２０
年全球 首款 面 向图 神 经网 络 应 用 的 专
用加 速 结 构
H
y
GCN
[
９
]
发 表 后
,
短 时 间 内 学 术 界 已
在该领域有多 篇 不 同 的 硬 件 加 速 结 构 成 果 产 出
．
为
使读者和相关领域研究人员能够清晰地了解图神经
网络加速结构的现 有 工作
,
本文 首 先对 图 神经 网 络
应用的基础知识
、
常见 算 法
、
应用 场 景
、
编程 模 型以
及主流的基 于通 用平 台的 框架 与 扩 展 库 等 进 行 介
绍
．
然后以图神 经 网 络 执 行 行 为 带 来 的 加 速 结 构 设
计挑战为出发点
,
从整体结构设计以及计算
、
片上访
存
、
片外访存多个层 次 对该 领 域的 关 键优 化 技术 进
行详实而系统 的 分 析 与 介 绍
．
最 后 还 从 不 同 角 度 对
图神经网络加速结构 设 计的 未 来方 向 进行 了 展望
,
期望能为该领域的研究人员带来一定的启发
．
当前已有的图神经网络应用领域综述论文从不
同角度对图神经网络算法以及软件框架进行总结与
分析
．
综述
[
１
]
对应 用 于数 据 挖掘 和 机器 学 习领 域 的
主流图神经网络算 法 进行 分 类
,
并讨 论 不同 类 别算
法的关系与异同
．
综述
[
１０
]
依据图 神 经网 络 模型 的 结
构和训练策略的不同
,
提出新的分类方法
,
并以模型
的发展历史为主线进 行介绍 与 分析
．
综述
[
１１
]
围绕 图
的表 示 学 习
(
re
p
resentationlearnin
g
)
方 法 展 开
,
并
５０２１
李
涵等
:
图神经网络加速结构综述
of 26
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论