导读
自动驾驶汽车在真正商业化应用前，需要经历大量的测试才能达到商用要求。本文总结了自动驾驶系统测试技术，然后从模型、仿真、网络、整车层面综述了自动驾驶汽车测试的研究进展，分析了各种自动驾驶系统测试技术的特点，最后给出了自动驾驶测试技术的发展建议。
/
引言
近年，随着人工智能的发展，自动驾驶技术的研究也取得了巨大的突破，国内外的许多科技公司如谷歌、百度、腾讯、阿里等都开发了自己的自动驾驶系统框架，一些车企如特斯拉、奥迪等也将自动驾驶技术部署到商用的车型中。但是自动驾驶系统的可靠性有时难以保证，比如2016年和2017年，特斯拉轿车和优步出租车都因为自动驾驶系统的误判导致车祸。Banerjee等人通过研究5328起自动驾驶系统的失效事件[1]，统计出有64%的失效是由于机器学习系统的误判导致。为了提升自动驾驶系统的安全性，工业界和学术界开展了广泛的自动驾驶测试技术研究。本文从自动驾驶系统的模型测试、仿真测试、网络安全测试和场地测试4个方面，综述目前自动驾驶测试技术的研究成果。
自动驾驶系统模型测试
自动驾驶系统模型测试是通过测试数据集、对抗样本等方法针对车辆感知模型进行测试。目前的感知模型大都采用深度神经网络（DNN）来实现，由于模型输入数据空间维度很大，DNN对于对抗样本的攻击是脆弱的，这给自动驾驶的落地前景造成了很大的隐患。很多研究表明通过现有的对抗攻击手段可以轻易欺骗用于自动驾驶的目标检测模型，从而让自动驾驶决策出现错误。
2017年，哥伦比亚大学的研究团队提出了一种DNN自动测试系统DeepXplore[2]，用一些已有的测试输入作为种子，通过梯度上升法不断循环迭代地修改测试输入，使得被测模型的输出与其他同类模型的输出差异最大化，最终能够生成一系列新的测试数据，这些测试数据能够引发被测模型判断错误。在udacity-challenge数据集上的实验表明，该系统能够通过改变输入图片的明暗、加入噪点等手段，使得自动驾驶模型对汽车转向角的预测出现错误。同一研究组后续又提出DeepTest[3]，删除了DeepXplore必须提供多个相似功能DNN的要求，同时针对自动驾驶系统测试数据的生成做了一些改动，形成了更高效的极端场景数据生成系统。
针对自动驾驶的对抗样本目前也已经有丰富的研究成果，例如DeepRoad[4]利用GAN（对抗生成网络）生成较为真实的雨天、雪天的变换图像，从而找到能使自动驾驶DNN出错的场景。DeepBillboard[5]可以生成真实世界中广告牌的对抗样本，引发自动驾驶系统的转向错误。Kevin[6]等人对停车路牌进行物理世界的鲁棒性攻击（在路牌上特定位置进行贴纸），以100%的置信度将右转标志错误分类为指定类别的其他标志。多伦多大学还研究出了针对激光雷达的三维对抗性物体，将该物体放在目标车辆的顶上就能使车辆不被激光雷达探测器发现[7]。
自动驾驶系统仿真测试
自动驾驶系统的仿真测试是通过仿真平台对自动驾驶系统整体或各个控制单元进行测试。由于采用路测来优化自动驾驶算法耗费的时间和成本太高、极端交通条件和场景复现困难、道路测试环境多变、路测存在安全隐患且受到法规限制等原因，仿真测试是解决自动驾驶测试问题的主要技术路线，具有测试效率高、测试重复性强、测试过程安全、测试成本低的特点，目前已经被行业广泛接受。自动驾驶测试大约90%通过仿真平台完成。仿真测试需要场景库和仿真平台配合来实现。
场景是自动驾驶汽车与其行驶环境各组成要素在一段时间内的总体动态描述，具有丰富、复杂的特点。自动驾驶测试场景库是由满足某种测试需求的一系列自动驾驶测试场景构成的数据库。目前国内外一些汽车企业及自动驾驶解决方案商都有建立自己的场景库，例如Waymo已开放了超过一千个场景的数据库[8]。中汽数据有限公司已初步建成覆盖自然驾驶及标准法规的仿真测试场景库[9]，中国汽车工程研究院股份有限公司2019年发布了“中国典型场景库V2.0”[10]等等。
自动驾驶仿真平台是通过模拟交通场景、车辆运动、传感器信号来测试自动驾驶功能的系统，其主要的功能有静态场景和动态场景的还原、摄像头和雷达的仿真、车辆动力学仿真等。目前有许多的企业和机构已经开发了自动驾驶仿真平台，例如西门子公司旗下的PreScan[11]、开源的Carla[12]、谷歌的仿真平台Carcraft、英伟达的 NVIDIA Drive Constellation 仿真系统、微软的AirSim、腾讯的TADSim、百度的AADS、华为的自动驾驶云服务Octopus等等。这些仿真平台都具有海量的场景数据、种类齐全的传感器模型、车辆动力学模型、复杂交通模型，助力自动驾驶产品的测试。
自动驾驶系统网络安全测试
自动驾驶系统部署于智能网联汽车中，不仅能够通过先进的车载传感器、控制器、执行器等装置实现辅助或代替驾驶员对单车进行操控，还能够融合现代通信与网络技术，实现V2X智能信息交换、共享，具备复杂环境感知、多车智能决策与协同控制等。前者依赖网络通过OTA进行当前车辆控制器参数的不断优化，后者则依赖网络进行高级调度，实现自动驾驶下的智慧交通。
引入网络技术使得自动驾驶系统或其所在智能网联汽车对于黑客来说有了入侵的手段，如通过入侵云端账户对相应车辆进行减速、关闭引擎、制动等恶意操作；通过入侵手机APP接管对于车辆解锁及远程启动的控制；通过USB存储介质对车内网络进行恶意文件植入，恶意控制车辆等。
自动驾驶网络安全测试的对象可分为云服务平台、手机终端、车载终端以及通信网络。云服务平台测试关注传统云服务平台Web漏洞以及云端与两端的传输安全；手机终端测试评估是否能够通过技术手段破解通信密钥、分析通信协议，并借此伪造对于车辆控制的恶意请求；车载终端包括IVI、T-box、传感器、外部接口等组件，其测试主要检查操作系统、第三方库、协议栈等是否含有已知漏洞，CAN总线是否有安全风险，进而形成完全控车威胁；通信网络测试身份认证、传输加密以及协议安全。目前有不少这方面的研究，如Wu Lingyun等在CAN总线异常检测方法的基础上，提出了一种基于随机森林的CAN总线消息异常检测方法模型，有效地检测出智能网联汽车上的异常数据，提高了车辆运行的安全性[13]。Mazloom S等人创建了一个演示恶意应用程序，装载在手机终端上，利用IVI上的MirrorLink接口连接手机终端，发现了堆溢出漏洞，该漏洞允许攻击者获得在IVI上执行的特权进程的控制流[14]。
自动驾驶系统整车场地测试
整车场地测试是将整车放在实际的道路上进行测试，目前主要是封闭场地测试。封闭场地测试需要建设专用的封闭测试场地，还要在有限的场地中尽可能让自动驾驶车辆经历不同的环境和场景。美国、欧盟已经建设了一些专门的封闭场地。美国弗吉尼亚州通过改造部分高速公路而建造了Smart Road测试路段[15]，长2.2英里，可以通过喷洒水雾模拟下雨、雾天等天气。美国密西根的Mcity场地[16]包含不同材质的路面，设置了丰富的交通标志、信号灯、隧道等要素。谷歌租用加利福尼亚Castle空军基地用来测试它的无人驾驶汽车[17]，封闭试验场内部有各种街道、公路、交通信号灯、交通环岛等，还有雨天模拟器。瑞典AstaZero试验场[18]拥有城市道路、高速公路、多车道并行路况、环岛以及交叉路口，成为自动驾驶安全技术的研发平台。中国的上海、杭州、武汉、深圳等地也计划建设无人驾驶封闭测试场地。
结束语
测试验证自动驾驶的安全性是自动驾驶汽车上路的重要前提，随着自动驾驶技术等级的提高，其测试的难度逐渐加大。目前学术界、工业界已经形成初步的自动驾驶测试体系，在自动驾驶的模型、系统、网络、整车等方面均有相应的工具和技术，并在对抗样本生成、仿真平台研发、车联网安全漏洞分析、试验场地建设方面取得了丰富的成果。但自动驾驶测试还存在一些尚未解决的问题，如场景库的建设与合作机制有待完善、测试评价体系缺乏规范等。未来需建立自动驾驶测试的标准体系与测评工具链，为自动驾驶技术发展和产业落地提供有力支撑。
参考文献
[1] S. S. Banerjee, S. Jha, J. Cyriac, Z. T. Kalbarczyk, and R. K.Iyer. Hands off the wheel in autonomous vehicles?: A systems perspective on over a million miles of field data. In 2018 48th Annual IEEE/IFIP International Conference on Dependable Systems and Networks (DSN), pages 586–597, June 2018.
[2] Kexin Pei, Yinzhi Cao, Junfeng Yang, and Suman Jana. DeepXplore: Automated whitebox testing of deep learning systems. In
Proceedings of the 26th Symposium on Operating Systems Principles,pages 1–18. ACM, 2017.
[3] Tian Y, Pei K, Jana S, et al. Deeptest: Automated testing of deep-neural-network-driven autonomous cars[C]//Proceedings of the 40th international conference on software engineering. 2018: 303-314.
[4] Zhang M, Zhang Y, Zhang L, et al. DeepRoad: GAN-based metamorphic testing and input validation framework for autonomous driving systems[C]//2018 33rd IEEE/ACM International Conference on Automated Software Engineering (ASE). IEEE, 2018: 132-142.
[5] Zhou H, Li W, Kong Z, et al. Deepbillboard: Systematic physical-world testing of autonomous driving systems[C]//2020 IEEE/ACM 42nd International Conference on Software Engineering (ICSE). IEEE, 2020: 347-358.
[6] Kevin Eykholt, Ivan Evtimov, Earlence Fernandes, Bo Li, Amir Rahmati, Chaowei Xiao, Atul Prakash，Tadayoshi Kohno, and Dawn Song. Robust Physical-World Attacks on Deep Learning Visual Classification. In CVPR, 2018.
[7] James Tu, Mengye Ren, Sivabalan Manivasagam, Ming Liang, Bin Yang, Richard Du, Frank Cheng, and Raquel Urtasun. Physically Realizable Adversarial Examples for LiDAR Object Detection. In CVPR, 2020.
[8] Sun P, Kretzschmar H, Dotiwalla X, et al. Scalability in perception for autonomous driving: Waymo open dataset[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 2446-2454.
[9] http://www.catarc.info/news/10221.cshtml
[10] https://www.caeri.com.cn/xinwen/zixun/2019/295.html
[11] Gietelink O J. Design and validation of advanced driver assistance systems[J]. 2007.
[12] Dosovitskiy, A., Ros, G., Codevilla, F., Lopez, A. and Koltun, V.. "CARLA: An open urban driving simulator," Proceedings of the 1st Annual Conference on Robot Learning, in PMLR, 2017, pp. 1-16.
[13] Lingyun W U , Guihe Q , He Y U . Anomaly Detection Method for In-Vehicle CAN Bus Based on Random Forest[J]. Journal of Jilin University(Science Edition), 2018.
[14]Mazloom S, Rezaeirad M, Hunter A, et al. A security analysis of an in-vehicle infotainment and app platform[C]//10th {USENIX} Workshop on Offensive Technologies ({WOOT} 16). 2016.
[15] Gibson T. Virginia's Smart Road: Where Researchers Make the Extreme Weather[J]. Weatherwise, 2015, 68(4): 20-27.
[16] Briefs U. Mcity Grand Opening[J]. Research Review, 2015, 46(3).
[17] Madrigal A C. Inside waymo’s secret world for training self-driving cars[J]. The Atlantic, 2017, 23: 3.1.
[18] Jacobson J, Janevik P, Wallin P. Challenges in creating AstaZero, the active safety test area[C]//Transport Research Arena (TRA) 5th Conference: Transport Solutions from Research to DeploymentEuropean CommissionConference of European Directors of Roads (CEDR) European Road Transport Research Advisory Council (ERTRAC). 2014.
作者信息
陈文捷，硕士，上海计算机软件技术开发中心人工智能治理研究所高级技术研究员，国家信标委人工智能、大数据标准化工作组成员，资深软件测评师。长期从事人工智能、大数据、云计算领域的应用技术研究、测评及标准化工作，包括参与自动驾驶场景描述、计算机视觉、大数据系统等领域技术研究及国家标准的研制。在国际国内期刊与会议发表论文10篇，授权发明专利4项，获得软件著作权6项，编著《大数据测评》、《CloudStack技术指南》等专著，曾2次获得上海市标准化优秀学术成果奖。
人工智能评测服务
上海市计算机软件测评重点实验室（SSTL）人工智能测评服务面向计算机视觉、语音识别、自然语言处理、推荐与搜索等领域，聚焦人工智能应用过程中的模型功能有效性评估、模型性能评估、数据集质量评估、对抗样本防御能力等，提供全方位的测评服务，保障人工智能应用的质量。
上海市计算机软件评测重点实验室（简称SSTL）由上海市科委批准成立于1997年，是全国最早开展信息系统质量与安全测评的第三方专业机构之一，隶属于上海计算机软件技术开发中心。
觉得内容还不错的话，给我点个“在看”呗
我知道你在看哟
