基于深度学习的新型视频分析系统综述-孟令睿，丁光耀，徐辰，钱卫宁，周傲英.pdf
免费下载
软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
Journal of Software, [doi: 10.13328/j.cnki.jos.006631] http://www.jos.org.cn
©中国科学院软件研究所版权所有. Tel: +86-10-62562563
基于深度学习的新型视频分析系统综述
∗
孟令睿
1
,
丁光耀
1
,
徐
辰
1
,
钱卫宁
1
,
周傲英
1
1
(华东师范大学 数据科学与工程学院,上海 200062)
通讯作者: 徐辰, E-mail: cxu@dase.ecnu.edu.cn
摘 要: 摄像设备在生活中的普及使得视频数据快速增长,这些数据中蕴含丰富的信息.早期,研究人员基于传统
的计算机视觉技术开发视频分析系统,用于提取并分析视频数据.近年来,深度学习技术在人脸识别等领域取得了突
破性进展,基于深度学习的新型视频分析系统不断涌现.本文从应用、技术、系统等角度,综述了新型视频分析系统
的研究进展.首先,本文回顾视频分析系统的发展历史,指出了新型视频分析系统与传统视频分析系统的区别.其次,
本文分析了新型视频分析系统在计算和存储两方面面临的挑战,从视频数据的组织分布和视频分析的应用需求两
方面探讨了新型视频分析系统的影响因素.再次,本文将新型视频分析系统划分为针对计算优化的系统和针对存储
优化的系统两大类,选取其中典型的代表并介绍其核心设计理念.最后,本文从多个维度对比和分析了新型视频分析
系统,指出这些系统当前存在的问题,并据此展望了新型视频分析系统未来的研究与发展方向.
关键词: 视频分析系统;深度学习;计算优化;存储优化
中图法分类号: TP311
中文引用格式: 孟令睿,丁光耀, 徐辰, 钱卫宁, 周傲英. 基于深度学习的新型视频分析系统综述软件学报,2021,32(7).
http://www.jos.org.cn/1000-9825/0000.htm
英文引用格式: Meng LR, Ding GY, Xu C, Qian WN, Zhou AY. Survey of Novel Video Analysis Systems Based on Deep
Learning.Ruan Jian Xue Bao/Journal of Software, 2021 (in Chinese). http://www.jos.org.cn/1000-9825/0000.htm
Survey of Novel Video Analysis Systems Based on Deep Learning
MENG Ling-Rui
1
, DING Guang-Ya o
1
, XU Chen
1
, QIAN Wei-Ning
1
, ZHOU Ao-Ying
1
1
(School of Data Science and Engineering, East China Normal University, Shanghai 200062, China)
Abstract: The popularity of camera devices in our life has led to a rapid growth in video data, which contains rich information. Earlier,
researchers developed video analytics systems based on traditional Computer Vision techniques to extract and then analyse video data. In
recent years, deep learning has made breakthroughs in areas such as face recognition, and novel video analysis systems based on deep
learning have appeared. This paper presents an overview of the research progress of novel video analytics systems from the perspectives of
applications, technologies and systems. Firstly, this paper reviews the development history of video analytics systems and points out the
differences between novel video analytics systems and traditional video analytics systems. Secondly, this paper analyses the challenges of
the novel video analysis system in terms of both computation and storage, and discusses the influencing factors of the novel video analysis
system in terms of the organisation and distribution of video data and the application requirements of video analysis. This paper then
classifies the novel video analytics systems into two categories: those optimised for computation and those optimised for storage, selects
typical representatives of these systems and introduces their main ideas. Finally, this paper compares and analyses the novel video
analytics systems from multiple dimensions, points out the current problems of these systems, and looks at the future research and
development direction of novel video analytics systems accordingly.
Key words: video analysis systems; deep learning; computational optimisation; storage optimisation
随着大量的摄像机部署在公共场所甚至个人家庭中,这些设备产生的视频数据迅速增多.调查显示,2016 年
∗ 基金项目: 国家自然科学基金(61902128); 上海市扬帆计划(19YF1414200)
收稿时间: 2021-07-20; 修改时间: 2021-08-30; 采用时间: 2021-12-24; jos 在线出版时间: 2022-02-22
孟令睿
等
:
基于深度学习的新型视频分析系统综述
2205
产生的视频数据占所有互联网流量的 73%以上[1],一个中等规模的城市仅一天就能产生 PB 级数据量的视频
[2].这些视频中蕴含的丰富信息可以帮助解决现实生活中的一些难题.例如,道路和交叉路口的视频有助于及时
检测拥堵、违规和事故[3]并为交通规划决策提供信息[4][5],室内的视频有利于检测异常情况并及时预警[6]等.
但是,如果依靠人工观看视频的方式提取这些信息,不仅耗时耗力且结果误差较大[7].
面对视频处理需求,如何自动、高效地从视频数据中提取相应信息,是视频分析系统的关键.早在 20 世纪
90 年代,国内外的很多公司,包括 IBM、Virage 等都开发了视频分析系统进行图像检索与对象查询.
本文将这些
系统称为
传统视频分析系统
.但是随着视频数据的快速增长和视频分析应用需求的增加,这些系统的不足逐渐
显现.
主要表现在这些系统
基于传统的计算机视觉的方法
进行对象查询,而这些对象查询所使用的特征需要人
为地选择和提取.这是一种半自动的实现方式.这种实现方式导致系统的准确度低、查询对象有限、识别能力
有限.在之后的一段时间中,视频分析系统的发展停滞不前.直到 2012 年,在 ImageNet 图像分类比赛上,深度神经
网络 AlexNet[8]取得了当时最好的结果,这为视频分析系统提供了新的方向.通过使用深度神经网络,系统可以
自动提取并学习对象丰富的特征,并推理得到准确的结果.此后,深度神经网络(deep neural network,简称 DNN)
种类逐渐增多、功能逐渐多样化.更进一步,因深度神经网络的兴起,以深度神经网络为本质的深度学习方法也
逐步在人工智能的多个领域中得到广泛应用.时至今日,国内外研究人员仍致力于使用深度学习方法来解决现
实生活中的一些难题.随着深度学习受到广泛关注,
近年来出现了很多
基于深度学习的视频分析系统
,本文将这
类系统称为
新型视频分析系统
.
然而,在视频数据不断增长和深度神经网络层数逐渐增多的趋势下,新型视频分析系统在计算和数据存储
过程中都面临着挑战.例如,系统如何快速甚至实时地分析不断到达的数据、系统如何压缩数据以节省存储空
间等.面对这些挑战,研究者们通过对视频数据组织分布的观察以及对视频分析应用需求的分析,逐步探索了不
同的优化方向,并由此开发了相关的原型系统.本文对这些系统进行了总结,并将其归纳为两类系统:针对计算
优化的系统和针对存储优化的系统.对于每一类系统,本文介绍了其设计思想并从多个方面对其进行总结和分
析.
本文内容组织如下:第 1 节回顾视频分析系统的发展历程;第 2 节阐述新型视频分析系统面对的挑战及其
影响因素;第 3 节分类介绍典型的新型视频分析系统;第 4 节对比总结这些系统;第 5 节探讨未来值得关注的研
究方向;第 6 节总结全文.
1 视频分析系统的发展
在新型视频分析系统出现之前,人们采用传统视频分析系统处理视频数据.传统视频分析系统主要采用经
典的计算机视觉的方法,通过获取视觉内容和语义内容的方法,实现对视频数据的处理与分析.图 1 展示了传统
视频分析系统的查询处理流程.这一流程可以分为数据输入、预处理、特征提取、识别与检测、结果输出五部
分.其中,特征提取是传统视频分析系统的核心部分.这些要提取的特征可以分为视觉特征和语义特征两大类.
视觉特征即图像通过线性变换得到的特征,例如,颜色、纹理、形状等.语义特征则是通过分析图像中事物与事
物之间的关系,从中提取出的对象、事件等高级概念,例如,足球比赛的观众席上有一位球迷看起来很兴奋.显然,
这两类特征的含义不同,因此,对这两类特征的提取要求是不同的.根据提取特征的不同,可以将传统视频分析
系统分为基于内容查询(即 CBIR,Content-based image retrieval)的系统和基于语义查询的系统两类.
of 21
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论