深度神经架构搜索综述 - 孟子尧, 谷雪, 梁艳春, 许东, 吴春国.pdf
免费下载
计 算 机 研 究 与 发 展
DOI
:
１０．７５４４∕issn１０００Ｇ１２３９．２０２１．２０１９０８５１
JournalofCom
p
uterResearchandDevelo
p
ment ５８
(
１
):
２２ ３３
,
２０２１
收稿日期
:
２０１９
－
１２
－
１１
;
修回日期
:
２０２０
－
０４
－
１７
基金项目
:
国家自然科学基金项目
(
６１９７２１７４
,
６１８７６０６９
,
６１８７６２０７
);
吉 林 省 重 点 研 发 项 目
(
２０１８０２０１０４５GX
,
２０１８０２０１０６７GX
);
吉 林 省 自 然
科学基金项目
(
２０２００２０１１６３JC
);
广东省科技计划项目
(
２０２０A０５０５１０００１８
);
广东省应用基础研究重 点 项目
(
２０１８KZDXM０７６
);
广
东省优势重点学科项目
(
２０１６GDYSZDXK０３６
)
Thiswork wassu
pp
ortedb
y
the NationalNaturalScienceFoundationofChina
(
６１９７２１７４
,
６１８７６０６９
,
６１８７６２０７
),
the Ke
y
ResearchandDevelo
p
mentPro
j
ectofJilinProvince
(
２０１８０２０１０４５GX
,
２０１８０２０１０６７GX
),
theNaturalScienceFoundationofJilin
Province
(
２０２００２０１１６３JC
),
theScienceand Technolo
gy
Plannin
g
Pro
j
ectof Guan
g
don
g
Province
(
２０２０A０５０５１０００１８
),
the
Guan
g
don
g
Ke
y
ＧPro
j
ectfor A
pp
lied Fundamental Research
(
２０１８KZDXM０７６
),
andthe Guan
g
don
g
Premier Ke
y
ＧDisci
p
line
EnhancementScheme
(
２０１６GDYSZDXK０３６
)
．
通信作者
:
吴春国
(
wuc
g
＠
j
lu．edu．cn
)
深度神经架构搜索综述
孟 子 尧
１
,
２
谷
雪
１
,
２
梁 艳 春
１
,
２
许
东
３
吴 春 国
１
１
(
符号计算与知识工程教育部重点实验室
(
吉林大学
)
长春
１３００１２
)
２
(
符号计算与知识工程教育部重点实验室珠海分实验室
(
吉林大学珠海学院
)
广东珠海
５１９０４１
)
３
(
密苏里大学哥伦比亚分校电子工程与计算机科学系
美国密苏里州哥伦比亚
MO６５２１１
)
(
z
y
Ｇmen
g
＠outlook．com
)
Dee
p
NeuralArchitectureSearch
:
ASurve
y
Men
g
Zi
y
ao
１
,
２
,
GuXue
１
,
２
,
Lian
g
Yanchun
１
,
２
,
XuDon
g
３
,
and WuChun
g
uo
１
１
(
Ke
y
Laborator
y
o
f
S
y
mbol Com
p
utation and Knowled
g
e En
g
ineerin
g
(
Jilin Universit
y
),
Ministr
y
o
f
Education
,
Chan
g
chun
１３００１２
)
２
(
ZhuhaiLaborator
y
o
f
Ke
y
Laborator
y
o
f
S
y
mbolCom
p
utationand Knowled
g
eEn
g
ineerin
g
(
ZhuhaiColle
g
eo
f
Jilin
Universit
y
),
Ministr
y
o
f
Education
,
Zhuhai
,
Guan
g
don
g
５１９０４１
)
３
(
De
p
artmento
f
ElectricalEn
g
ineerin
g
and Com
p
uterScience
,
Universit
y
o
f
MissouriＧColumbia
,
Columbia
,
Missouri
,
USA MO
６５２１１
)
Abstract Dee
p
learnin
g
hasachievedexcellentresultsondatataskswith multi
p
lemodalitiessuchas
ima
g
es
,
s
p
eech
,
and text．However
,
desi
g
nin
g
networks manuall
y
for s
p
ecific tasksis timeＧ
consumin
g
andre
q
uiresacertainlevelofex
p
ertiseanddesi
g
nex
p
eriencefromthedesi
g
ner．Intheface
oftoda
y
sincreasin
g
l
y
com
p
lexnetworkarchitectures
,
rel
y
in
g
on manualdesi
g
naloneincreasin
g
l
y
becomescom
p
lex．Forthisreason
,
automaticarchitecturesearchofneuralnetworkswiththehel
p
of
al
g
orithmshasbecomeahotresearchto
p
ic．Thea
pp
roachofneuralarchitecturesearchinvolvesthree
as
p
ects
:
searchs
p
ace
,
searchstrate
gy
,
and
p
erformanceevaluationstrate
gy
．Thesearchstrate
gy
sam
p
lesa network architecturein the search s
p
ace
,
evaluates the network architecture b
y
a
p
erformanceevaluationstrate
gy
,
andfeedＧbacktheresultstothesearchstrate
gy
to
g
uideittoselecta
betternetwork architecture
,
and obtainsthe o
p
timal network architecture throu
g
h continuous
iterations．Inordertobettersortoutthe methodsofneuralarchitecturesearch
,
wesummarizethe
common methodsinrecent
y
earsfrom searchs
p
ace
,
searchstrate
gy
and
p
erformanceevaluation
strate
gy
,
andanal
y
zetheirstren
g
thsandweaknesses．
Ke
y
words dee
p
learnin
g
;
neuralarchitecturesearch
(
NAS
);
searchs
p
ace
;
searchstrate
gy
;
p
erforＧ
manceevaluation
摘
要
深度学习在图像
、
语音
、
文本等多种模态的数据任务上取得了优异的效果
．
然而
,
针对特定任务
,
人工设计网络需要花费大量的时间
,
并且需要设计者具有一定水平的专业知识和设计经验
．
面对如今日
趋复杂的网络架构
,
仅依靠人工进行设计变得 越来越 复杂
．
基于此
,
借助算 法自动 地对神 经网络 进行架
构的搜索成为了研究热点
．
神经架构 搜索的 方法涉 及
３
个方 面
:
搜索 空 间
、
搜索 策 略
、
性能 评 估策 略
．
通
过搜索策略在搜索空间中选择一个网络架构
,
借助性能评估策略对该网络架构进行评估
,
并将结果反馈
给搜索策略指导搜索策略选择更好的网络架构
,
通过不断迭代得到最优的网络架构
．
为了更好地为读者
提供一个快速了解神经网络架构搜索方法的导航地图
,
从搜索空间
、
搜索策略和性能评估策略
３
个方面
对现有典型的神经架构搜索方法进行了梳理
,
总结讨论了近年来常见的架构搜索方法
,
并分析了各种方
法的优势和不足
．
关键词
深度学习
;
神经架构搜索
;
搜索空间
;
搜索策略
;
性能评估
中图法 分类号
TP１８３
人工神经网络通过模拟生物神经网络信号处理
的过程
,
解决了很多具有挑战性的任务
．
以图像分类
为例
,
LeCun
等人
[
１
]
于
１９９８
年设计了第
１
个用于手
写字符识 别 的 卷 积 神 经 网 络
LeNet５
,
该 网 络 仅 有
５
层
．
直到
２１
世纪
１０
年代
,
GPU
代替
CPU
成为 了
新的神 经 网 络 加 速 训 练 工 具
,
这 使 得 训 练 更 大 规
模的网络成为了可能
．Krizhevsk
y
等人
[
２
]
于
２０１２
年
设计 了 有 一 定 深 度 的 网 络
AlexNet
,
并 取 得 了
ILSVRCＧ１２
(
Ima
g
eNetlar
g
eＧscalevisualreco
g
nition
challen
g
eＧ２０１２
)
竞赛的成功
．
相比于
AlexNet
,
Sze
g
ed
y
等人
[
３
]
于
２０１５
年再次加深了网络的深度和宽度
,
设
计了 一 个 超 过
２０
层 的 神 经 网 络 架 构
Goo
g
LeNet．
He
等人
[
５
]
于
２０１６
年通 过 引入 跳 跃连 接 的概 念
,
设
计了 一 个
１５２
层 的 残 差 网 络
ResNet
,
取 得 了
ILSVRCＧ１５
分类任务的 第
１
名
．
随着 研 究的 不 断深
入
,
网络的层数不断加深
,
截至
２０１６
年
,
最深的神经
网络已经超越
１０００
层
[
５
]
．
为了设计性能更加优异的
网络
,
人工设计深层 的网 络 需要 进 行大 量 重复 的 实
验
,
随着网络层数的增加
,
需要人工调整的超参数就
越多
,
这消耗 了 大 量 的 人 力 和 计 算 资 源
．
因 此
,
对 于
神经网络架构自动搜索的研究显得尤为关键
．
神经架构搜索
(
neuralarchitecturesearch
,
NAS
)
方法近年来在图像分类
[
６Ｇ８
]
、
目标检测
[
９
]
等任务上取
得了很好的效 果
．
但 这 些 方 法 都 需 要 评 估 大 量 的 网
络架构
,
需要 的 计 算 资 源 过 于 庞 大
．
通 过 代 理 模 型
、
权值共享等方法可以加速网络搜索过程
．Liu
等人
[
１０
]
于
２０１９
年提出可微分的架构搜索
,
借助反向传播算
法同时搜索网络的 架 构和 权 值
,
这极 大 地提 升 了神
经架构搜索方法的效率
．
目前
,
如何快速得到性能优
异的网络架构也是研究的热点问题
．
神经架 构搜索 的流程 如图
１
所示
:
在预先 设定
的搜索空间 中得 到一 个中 间网 络 架 构 作 为 候 选 架
构
,
通过性能评估策略对此候选架构进行性能度量
,
最后将测量的结果反馈给搜索策略
,
不断重复搜索
—
评估的过程直到发现最优的网络架构
．
Fi
g
．１ The
p
rocessofneuralarchitecturesearch
[
１１
]
图
１
神经架构搜索流程
[
１１
]
本文将 按图
１
的流程 进行说 明
,
对典型 神经架
构搜索方法的原理 进 行综 述
,
对不 同 方法 之 间的 关
系进行讨论
,
并对高效的性能评估策略进行总结
,
最
后对未来需要研究的问题进行展望
．
１
搜索空间
搜索空间 定义了 组成网 络的基 本操作
,
通过组
合不同的操作 会 产 生 不 同 的 网 络 架 构
．
为 了 使 算 法
可以高效地找到性 能 优异 的 网络
,
就必 须 构建 一 个
适合的搜索 空 间
．Liu
等 人
[
１２
]
于
２０１８
年 指 出
,
在 构
造一个适合搜索空 间 的前 提 下
,
即使 使 用简 单 的随
机搜索策略 也可 以发 现具 有竞 争 力 的 神 经 网 络 架
构
．
通常情况下
,
研究者为了提高搜索效率会根据自
己的经验适当地缩 小 搜索 空 间
,
但这 不 可避 免 地引
入了人为的偏 见
．
许 多 研 究 者 通 过 神 经 架 构 搜 索 的
方法发现了之前人工设计很难相 信的网 络架构
[
１３
]
,
这证明了神经架构搜索的方法较于人工设计网络的
优越性
．
目前
,
研究者涉及的搜索空间主要包括链 式
结构
、
多分支结构和基于
Cell
的结构
．
３２
孟子尧等
:
深度神经架构搜索综述
of 12
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论