轻量级神经网络架构综述-葛道辉，李洪升，张亮，刘如意，沈沛意，苗启广.pdf

上善若水

214

27页

0次

2022-05-24

免费下载

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn

Journal of Software,2020,31(9):2627−2653 [doi: 10.13328/j.cnki.jos.005942] http://www.jos.org.cn

轻量级神经网络架构综述

∗

葛道辉

李洪升

张

亮

2,4

刘如意

沈沛意

苗启广

1,3

(西安市大数据与视觉智能关键技术重点实验室(西安电子科技大学),陕西西安 710071)

(嵌入式技术与视觉处理研究中心(西安电子科技大学),陕西西安 710071)

(陕西省区块链与安全计算重点实验室(西安电子科技大学),陕西西安 710071)

(上海宽带技术及应用工程研究中心,上海 200436)

通讯作者: 李洪升, E-mail: hsli@stu.xidian.edu.cn

摘要: 深度神经网络已经被证明可以有效地解决图像、自然语言等不同领域的问题.同时,伴随着移动互联网技

术的不断发展,便携式设备得到了迅速的普及,用户提出了越来越多的需求.因此,如何设计高效、高性能的轻量级神

经网络,是解决问题的关键.详细阐述了 3 种构建轻量级神经网络的方法,分别是人工设计轻量级神经网络、神经网

络模型压缩算法和基于神经网络架构搜索的自动化神经网络架构设计;同时,简要总结和分析了每种方法的特点,并

重点介绍了典型的构建轻量级神经网络的算法;最后,总结现有的方法,并给出了未来发展的前景.

关键词: 轻量级神经网络;便携式设备;神经网络模型压缩;神经网络架构搜索;自动机器学习

中图法分类号: TP183

中文引用格式: 葛道辉,李洪升,张亮,刘如意,沈沛意,苗启广.轻量级神经网络架构综述.软件学报,2020,31(9):2627−2653.

http://www.jos.org.cn/1000-9825/5942.htm

英文引用格式: Ge DH, Li HS, Zhang L, Liu RY, Shen PY, Miao QG. Survey of lightweight neural network. Ruan Jian Xue Bao/

Journal of Software, 2020,31(9):2627−2653 (in Chinese). http://www.jos.org.cn/1000-9825/5942.htm

Survey of Lightweight Neural Networ k

GE Dao-Hui

, LI Hong-Sheng

, ZHANG Liang

2,4

, LIU Ru-Yi

, SHEN Pei-Yi

, MIAO Qi-Guang

1,3

(Xi’an Key Laboratory of Big Data and Intelligent Vision (Xidian University), Xi’an 710071, China)

(Embedded Technology and Vision Processing Research Center (Xidian University), Xi’an 710071, China)

(Shaanxi Key Laboratory of Blockchain and Secure Computing (Xidian University), Xi’an 710071, China)

(Shanghai Broadband Network Technology and Application Engineering Research Center, Shanghai 200436, China)

Abstra ct : Deep neural network has been proved to be effective in solving problems in different fields such as image, natural language,

and so on. At the same time, with the continuous development of mobile Internet technology, portable devices have been rapidly

popularized, and users have put forward more and more demands. Therefore, how to design an efficient and high performance lightweight

neural network is the key to solve the problem. In this paper, three methods of constructing lightweight neural network are described in

∗ 基金项目: 国家重点研发计划(2018YFC0807500, 2019YFB1311600); 国家自然科学基金(61772396, 61472302, 61772392,

61902296); 西安市大数据与视觉智能关键技术重点实验室课题(201805053ZD4CG37); 中央高校基本科研业务费专项资金

(JBF180301); 陕西省重点研发计划(2018ZDXM-GY-036)

Foundation item: National Key Research and Development Program of China (2018YFC0807500, 2019YFB1311600); National

Natural Science Foundation of China (61772396, 61472302, 61772392, 61902296); Xi’an Key Laboratory of Big Data and Intelligent

Vision (201805053ZD4CG37); Fundamental Research Funds for the Central Universities (JBF180301); Shaanxi Province Key Research

and Development Program (2018ZDXM-GY-036)

本文由“智能嵌入式系统”专题特约编辑王泉教授、吴中海教授、陈仪香教授、苗启广教授推荐.

收稿时间: 2019-07-01; 修改时间: 2019-08-18; 采用时间: 2019-11-02; jos 在线出版时间: 2019-12-05

CNKI 网络优先出版: 2019-12-05 14:55:05, http://kns.cnki.net/kcms/detail/11.2560.TP.20191205.1454.005.html

2628

Journal of Software 软件学报 Vol.31, No.9, September 2020

detail, which are artificial design of lightweight neural network, compression algorithm of neural network model, and automatic neural

network architecture design based on searching of neural network architecture. The characteristics of each method are summarized and

analyzed briefly, and the typical algorithms of constructing lightweight neural network are introduced emphatically. Finally, the existing

methods are summarized and the prospects for future development are given.

Key words: lightweight neural network; mobile device; compression of neural network; neural network architecture searching; auto

machine learning

深度学习与传统手工设计目标特征的方法不同:深度学习以端到端的方式训练深度神经网络,实现自动提

取目标的深度特征,避免人为设计的干扰;同时,深度特征与传统特征相比,深度特征可以多层次表示目标,从浅

层的局部特征到深层的全局特征,具有更强的鲁棒性和表达能力.基于此,深度学习近些年来已经引起了学术界

和工业界的广泛关注,并且深度学习已经成功地应用于解决多种类型的任务中,如目标检测、图像检索、语言

识别、智能问答等领域.

移动互联网时代,智能手机和其他便携设备的普及给人们之间的日常交流、信息获取、学习和工作等生活

的各个方面均带来了极大的便利.伴随着移动互联网的迅速发展,推出了如人脸识别、视频直播、美颜相机、

拍照识图、自动驾驶等多种不同类型的移动式应用,丰富了人们的日常生活,其中产生的数据绝大部分为静态

图像和动态视频数据.目前,传统的深度神经网络

[1−3]

通过设计非常深的神经网络结构用于提取表达能力更强

的深度特征,这对存储设备和计算资源的要求非常高,常用的便携式设备无法满足该需求,这严重限制了深度神

经网络在便携式设备上的发展与应用.

为了提高便携式设备处理图像和视频数据的效率和能力,同时需要满足存储空间和功耗的限制,设计适用

于便携式设备的轻量化深度神经网络架构是解决该问题的关键.近些年来,轻量级神经网络架构的设计得到了

学术界和工业界的广泛关注,提出了一些典型的方法

[4−9]

,主要包括 3 个不同的方向,分别是:(1) 人工设计轻量化

神经网络模型;(2) 基于神经网络架构搜索(neural architecture search,简称 NAS)的自动化神经网络架构设计;

(3) 神经网络模型的压缩.轻量级神经网络架构的设计已经取得了一定的成果:谷歌通过深度可分离卷积

(depthwise separable convolution)代替标准卷积提出了轻量级网络架构 MobileNet V1

[8]

;Face++通过逐点群卷积

核通道混洗技术提出了 ShuffleNet V1

[9]

;MnasNet

[7]

和 NasNet

[6]

通过强化学习方法学习神经网络架构搜索策略,

实现便携式设备上轻量化神经网络的自动化构建,不同的是,NasNet

[6]

设计了基于块的搜索空间,大大加快搜索

速度;Deep compression

[4]

通过剪枝、权值共享和权值量化、哈夫曼编码实现卷积神经网络模型的压

缩;AMC(AutoML for model compression)

[5]

利用强化学习方法自动学习模型压缩策略,具有更高的压缩比,可以

更好地保持神经网络的性能.

目前,人工设计轻量级神经网络的主要思想在于设计更高效的网络计算方式,主要是针对卷积的计算方法.

现有的深度卷积神经网络为了能够取得更好的性能,通过设置大规模的特征通道数、卷积核大小的数量,但是

往往存在大量的冗余.人工设计轻量级神经网络通过合理地减少卷积核的数量,减少目标特征的通道数,结合设

计更高效的卷积操作等方式,从而构造更加有效的神经网络结构,可以在保持神经网络性能的前提下,显著地减

少网络的参数和计算量,实现在便携式设备上训练和应用深度神经网络.

MobileNet

[8,10]

,ThunderNet

[11]

,ShuffleNet

[9,12]

,SqueezeNet

[13]

等人工设计的神经网络虽然已经取得了令人瞩

目的成绩,但是设计高性能的轻量级神经网络需要设计者具有丰富的专业知识和领域知识,并且需要大量重复

的实验,导致研究成本和时间成本极高,严重限制了轻量级神经网络在便携式设备上的发展与应用.为了减少人

为因素的干扰,通过给定所有候选神经网络架构的集合作为搜索空间,使用学习到的搜索策略从搜索空间中构

建最优的神经网络架构,利用性能评估策略度量网络架构的性能,并在训练阶段,作为奖励指导搜索策略的学

习,通过反复的迭代,从而得到解决特定任务的最优神经网络架构,实现深度神经网络模型的自动搜索.神经网

络架构搜索方法与超参数优化

[14]

和元学习

[15]

有显著的重叠.神经网络架构搜索方法主要由 3 部分组成:搜索空

间、搜索策略和性能评估策略.

除人工设计轻量化神经网络模型外,学者和工业界也在不断地探索如何进一步地通过压缩神经网络模型

of 27

免费下载

软件学报计算机技术

关注

评论