2019CNN实现的运动想象脑电分类及人-机器人交互-程时伟 , 周桃春 , 唐智川 , 范菁 , 孙凌云 , 朱安杰.pdf

上善若水

182

12页

0次

2022-05-23

免费下载

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn

Journal of Software,2019,30(10):30053016 [doi: 10.13328/j.cnki.jos.005782] http://www.jos.org.cn

CNN 实现的运动想象脑电分类及人-机器人交互



程时伟

周桃春

唐智川

范

菁

孙凌云

朱安杰

(浙江工业大学计算机科学与技术学院,浙江杭州 310023)

(浙江工业大学设计艺术学院,浙江杭州 310023)

(计算机辅助设计与图形学国家重点实验室(浙江大学),浙江杭州 310058)

通讯作者: 范菁, E-mail: fanjing@zjut.edu.cn

摘要: 基于脑电的脑机交互能帮助肢体运动障碍患者进行日常生活和康复训练,但是,由于脑电信号存在信噪

比较低、个体差异性大等问题,导致脑电特征的提取与分类还需要进一步提高准确性和效率.因此,在减少脑电采集

通道数目、增加分类数目的前提下,基于卷积神经网络对运动想象中的脑电信号进行分类.首先,基于已有方法进行

探索实验,建立由 3 层卷积层、3 层池化层和 2 层全连接层构成的卷积神经网络;然后针对想象左手、右手、脚的运

动和静息态设计与开展了实验,获取了相关脑电数据;之后,利用脑电数据训练出基于卷积神经网络的分类模型,测

试结果表明,该模型平均分类识别率达到了 82.81%,且高于已有的相关分类算法;最后,将已建立的分类模型应用于

运动想象信号的在线分类,设计与开发了脑机交互应用原型系统,驱动人-机器人之间的实时交互,帮助用户利用运

动想象控制仿人机器人的抬手、前进等运动状态.进一步的测试结果表明,机器人对用户控制命令的平均识别率达

到了 80.31%,从而验证了所提方法可以对运动想象脑电数据进行较为精确的实时分类,可以促进脑机接口技术在人

-机器人交互中的应用.

关键词: 运动想象;脑机接口;人机交互;深度学习;卷积神经网络

中图法分类号: TP242

中文引用格式: 程时伟,周桃春,唐智川,范菁,孙凌云,朱安杰.CNN 实现的运动想象脑电分类及人-机器人交互.软件学报,

2019,30(10):30053016. http://www.jos.org.cn/1000-9825/5782.htm

英文引用格式: Cheng SW, Zhou TC, Tang ZC, Fan J, Sun LY, Zhu AJ. CNN based motor imagery EEG classification and

human-robot interaction. Ruan Jian Xue Bao/Journal of Software, 2019,30(10):30053016 (in Chinese). http://www.jos.org.cn/

1000-9825/5782.htm

CNN Based Motor Imagery EEG Classification and Human-robot Intera ction

CHENG Shi-Wei

, ZHOU Tao-Chun

, TANG Zhi-Chuan

, FAN Jing

, SUN Ling-Yun

, ZHU An-Jie

(School of Computer Science and Technology, Zhejiang University of Technology, Hangzhou 310023, China)

(School of Design, Zhejiang University of Technology, Hangzhou 310023, China)

(State Key Laboratory of CAD & CG (Zhejiang University), Hangzhou 310058, China)

Abstra ct : The electroencephalograph (EEG) driven brain-computer interaction can promote daily life and rehabilitation training for

physically disabled people, however, EEG has several problems such as low signal-noise ratio, significant individual difference, and these

problems result in the low accuracy and efficiency for EEG feature extraction and classification. In the context of reducing numbers of

 基金项目: 国家重点研发计划(2016YFB1001403); 国家自然科学基金(61772468, 61702454, 61672451)

Foundation item: National Key Research & Development Program of China (2016YFB1001403); National Natural Science

Foundation of China (61772468, 61702454, 61672451)

本文由“自然人机交互新进展”专题特约编辑田丰、喻纯推荐.

收稿时间: 2018-08-18; 修改时间: 2018-11-01; 采用时间: 2018-12-25; jos 在线出版时间: 2019-04-29

CNKI 网络优先出版: 2019-04-30 09:19:04, http://kns.cnki.net/kcms/detail/11.2560.TP.20190430.0918.006.html

3006

Journal of Software 软件学报 Vol.30, No.10, October 2019

electrodes and increasing identified classes, this study proposed an approach to classify motor imagery (MI) EEG signal based on

convolutional neural network (CNN). Firstly, based on existed approaches, experiments were conducted and the CNN was constructed

with three convolution layers, three pooling layers, and two full-connection layers. Secondly, MI experiment was conducted with the

imagination of left hand movement, right hand movement, foot movement, and resting state, and the MI EEG data were collected at the

same time. Thirdly, the MI EEG data set were used to build the classification model based on CNN, and the experiment results indicate

that the average accuracy of classification is 82.81%, which is higher than the related classification algorithms. Finally, the classification

model was applied in the online classification of MI EEG, and a BCI prototype system was designed and implemented to drive the

real-time human-robot interaction. The prototype system can help users to control motion states of the humanoid robot, such as raising

hands, moving forward. Furthermore, the experimental results show that the average accuracy of robot controlling reaches to 80.31%, and

it verifies the proposed approach not only can classify MI EEG data with high accuracy in real time, but also promote applications of

human-robot interaction with BCI.

Key words: motor imagery; brain computer interface; human-computer interaction; deep learning; convolutional neural network

脑机接口(brain computer interface, 简称 BCI) 通过采集与提取大脑产生的脑电图信号(electroen-

cephalogram,简称 EEG)来识别人的意图,基于 EEG 信号完成大脑与外部设备的信息传递与控制任务,进而恢复

甚至增强人的身体运动和感知、认知能力

[1]

.近年来,BCI 的相关研究得到了快速发展,但是,由于 EEG 信号具有

非平稳、非线性、低信噪比等特点

[2]

,在预处理、特征提取、多模式分类等方面尚有诸多难题有待解决,从而导

致可实际应用的 BCI 系统较少.

通常,EEG 数据的处理和分析方法主要包括 3 个步骤:(1) 对 EEG 数据进行预处理;(2) 对预处理后的 EEG

数据进行特征提取;(3) 最后对提取的特征向量进行分类.这类方法的主要局限在于,需要依靠研究人员的先验

知识进行复杂的数据预处理和特征提取,但在预处理过程中容易剔除可能隐含着有用特征的数据,而在特征提

取过程中又容易忽略不同通道脑电信号间的关联特性

[2]

,这些都会降低分类结果的准确性和可靠性.而卷积神

经网络(convolutional neural network,简称 CNN)融合了无监督学习和有监督学习的优点,对高维特征向量具有

较强的分类能力,能从原始数据中学习到有利于分类的特征,减少了人为因素对特征选择造成的主观性和不完

备性.

因此,为了针对 EEG 信号进行便捷、精确的特征提取和分类,本文设计运动想象实验,在大幅减少脑电电极

数量(传统方法需要 64 个或更多电极,本文只采用 14 个电极)、同时增加运动想象分类任务(传统方法多数只支

持 2 或 3 分类,本文支持左手、右手、脚和静息态的 4 分类)的情况下,提取被试用户的 EEG 数据,并采用 CNN

方法进行数据的特征学习与分类,结果表明,本文方法比已有运动想象分类算法具有更高的识别率.进而,基于

本文方法设计与开发了一个基于 BCI 的人-机器人交互系统,实验结果表明,该原型系统能快速且准确地判断出

用户的运动想象指令,控制机器人完成相应的动作,进一步验证了本文方法的实用性.

1 相关工作

近年来,国内外学者提出的 EEG 信号特征提取方法主要包括 3 类:(1) 基于时域分析的方法,如采用均值、

方差、概率密度函数等

[1]

;(2) 基于频域分析的方法,如 Pfurtscheller

[3,4]

提出的基于 mu 节律的频域分析方法并

应用在运动想象任务中、Zhou 等人

[4]

将小波包分解(wavelet packet decomposition,简称 WPT)和独立成分分析

(independent component analysis,简称 ICA)应用在运动想象数据特征提取中;(3) 基于空域分析的方法,如 Samek

等人

[5]

提出将共空间模式(common spatial pattern,简称 CSP)应用在脑机接口中.另一方面,也可采用机器学习的

方法,如孙会文等人

[6]

使用支持向量机(support vector machine,简称 SVM)方法对经过希尔伯特黄变换(Hilbert-

Huang transform,简称 HHT)的 EEG 数据进行分类;张毅等人

[7]

使用自回归模型(autoregressive model,简称 AR)

对特征提取后的 EEG 信号进行分类;刘伯强等人

[8]

使用神经网络的反向传播(back propagation,简称 BP)算法进

行 EEG 数据分类.

CNN 是一种带有卷积结构的深度神经网络,卷积结构可以利用空间结构关系,减少需要学习的参数数量,从

而提高反向传播算法的训练效率,不仅可以防止过拟合,还能降低神经网络的复杂度

[9]

.LeCun 等人

[10]

采用神经

of 12

免费下载

软件学报计算机技术

关注

评论