脑机接口辅助的动态目标选择技术-孙伟 , 黄进 , 李念龙 , 范向民 , 田丰 , 戴国忠 , 王宏安.pdf

上善若水

12页

0次

2022-05-19

免费下载

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn

Journal of Software, 2018,29(Suppl.(2)):108119 http://www.jos.org.cn

脑机接口辅助的动态目标选择技术



孙

伟

1,2

黄

进

李念龙

1,2

范向民

田

丰

戴国忠

王宏安

(人机交互北京市重点实验室(中国科学院软件研究所),北京 100190)

(中国科学院大学计算机与控制学院,北京 100190)

通讯作者: 田丰, E-mail: ti anfeng @iscas .ac.cn

摘要: 动态目标选择是现代交互界面中最为基础的交互任务之一,目前存在多种辅助技术,但这些技术的决策

和参数设定有很强的经验性,无法根据用户的当前状态进行调整.为了解决这个问题,基于两个认知负荷与难度感知

的假设,提出一种脑机接口辅助的动态目标选择技术,利用近红外光谱信号对用户认知负荷感知的敏感性,实时地调

整目标选择技术参数,给不同用户个体提供个性化辅助,适用于不同场景、用户状态和任务难度.通过一组实验,对

提出的假设进行了验证,并且基于该假设构建的脑机接口辅助的动态目标选择技术,较不作任何辅助和固定辅助技

术两种方案都更优,具体地,在选择错误率上分别降低 20.55%和 12.09%,在完成时间上分别降低 998.35ms 和

208.67ms.

关键词: 动态目标选择;脑机接口;认知负荷

中文引用格式: 孙伟,黄进,李念龙,范向民,田丰,戴国忠,王宏安. 脑机接口辅助的动态目标选择技术.软件学报,2018,

29(Suppl.(2)):108–119. http://www.jos.org.cn/1000-9825/18022.ht m

英文引用格式: Sun W, Huang J, Li NL, Fan XM, Tian F, Dai GZ, Wang HA. BCI assisted dynamic target selection technique.

Ruan Jian Xue Bao/Journal of Software, 2018 ,29(Suppl.(2)):108119 (in Chinese). http://www.jos.org.cn/ 1000-9825/18022.ht m

BCI Assisted Dynamic Target Selection Technique

SUN Wei

1,2

, HUANG Jin

, LI Nian-Long

1,2

, FAN Xiang-Min

, TIAN Feng

, DAI Guo-Zhong

WANG Hong-An

(Beijing Key Laboratory of Human-Computer Interaction (Institute of Software, The Chinese Academy of Sciences), Beijing 100190,

China)

(School of Computer and Control Engineering, University of Chinese Academy of Sciences, Beijing 100190, China)

Abstra ct : Dynamic target selection is one of the most basic interactive tasks in modern interaction interfaces. There are a variety of

assistive techniques, but the design and parameters of these techniques are largely based on experimental data and cannot be adjusted

according to the us ers’ current state. In ord er to solve this problem, a br ain-computer interface assist ed dynamic target selection technique

based on two assumptions of cognitive load and difficulty perception in this study is proposed, which uses the functional near-infrared

spectroscopy (fNIRS) signals to cognitive load perception of users and adjusts the parameters of target selection techniques in real time.

This technique can provide personalized assistance to different users and be applicable to different scenarios, user status and task

difficulty. The proposed hypothesis through a set of experiments is verified, and brain-computer assisted dynamic target selection

technique constructed based on this assumption is better than both the auxiliary and fixed auxiliary technologies. Specifically, the

selection error rate is reduced by 20.55% and 12.09% respectively, and the completion time is reduced by 998.35 ms and 208.67 ms

respectively.

Key words: dynamic target selection; BCI; conative workload

 基金项目: 国家重点研发计划(2017YFB1002504); 重庆市科技服务平台专项(cstc2015ptfw-ggfw120002)

Foundation item: National Key Research & Development Plan of China (2017YFB1002504); Science and Technology Service

Platform Project of Chongqing S cience and Technology Commission (cstc2015ptfw-ggfw120002)

收稿时间: 2018-06-15; 采用时间: 2018-11-08

孙伟等:脑机接口辅助的动态目标选择技术

109

近年来,人与计算机之间的交互设备飞速扩增,交互技术日新月异,计算机收集用户意图的途径早就不再局

限于键盘、鼠标、遥控器、触摸屏等传统输入设备,语音、手势、表情、体态、生理等交互技术提供了更开放

的人机交互通道

[1]

.但是,在一些频率较高、对实时性能要求较高或交互指令较复杂的任务中,图形用户界面交

互范式依然占据着主导性地位,而目标选择是所有图形用户界面交互的先决条件.

人们在很多交互任务中经常需要与计算机进行长时间持续的交流,在这期间目标选择事件高频持续发生,

因此,只要对每次目标选择进行细微优化,就可以很大程度地改进交互性能

[2]

.与静态目标相比,动态目标选择任

务难度普遍更高,而动态目标获取任务又是动态用户界面中最为基础的交互任务,对动态目标选择提供辅助,有

助于减小任务难度、提升用户交互效率.

构建自适应动态目标选择辅助系统,首先要判断当前任务对用户的难度情况,然后再选择如何调节辅助力

度.现有的应用最广的判断目标选择任务难度模型由 Fitts、Jagacinski 等人提出

[35]

,从完成任务花费时间的角

度来判别任务难度.但是,近年来有学者对用户完成目标选择任务的过程进行分析,研究结果表明,交互过程中

包含感知过程、认知过程与运动表现,且这 3 种感知相互独立

[68]

.如果仅仅从任务完成的时间角度进行任务难

度评判,无法去除用户感知过程、运动表现这两个方面的干扰,例如:经常使用电脑的用户与刚开始接触电脑的

用户,在目标选择的运动表现上差别非常明显.

众多学者根据已有的目标选择模型,设计了多种目标选择辅助技术,它们可以归纳为两大类:指针增强和目

标增强

[9]

.尽管这些技术大多数已经证明可以通过增加选择任务中目标的识别宽度来降低任务难度,减少完成

任务时间,但是,目标的扩大会带来额外的视觉干扰,在界面相对密集时,增加目标识别宽度反而会导致目标间

相互覆盖,增加了任务的难度与完成任务的时间.因此,这些辅助技术的设计决策和参数在很大程度上都是根据

实验统计结果特设的,没有考虑辅助技术应用的通用性.

理想状态下通用的目标选择技术需要适应复杂的用户界面、适应不同背景的使用者、适应使用者不同的

状态.能够推测用户对当前任务难度的认知,使得目标选择辅助的力度动态且平缓地自动适应用户状态.认知能

力被定义为处理语义理解、学习、推理等活动中必不可少的能力.Wickens 的四维多重资源模型将认知能力视

为有限的认知资源

[10]

.任务中用户的认知状态表现受任务难度刺激而发生改变.

本文提出利用生理计算设备,对用户认知负荷水平进行检测.生理计算是一种人体生理与计算机的直接接

口,它的目标是对来自人类的生物信号进行解析,并转换为计算机的实时输入,以提高和改善交互体验.由于其

可穿戴性、隐式交互性、移动性和可靠性的特点,生理计算可以扩展人机交互的通信带宽,对于每个用户来说

都是个性化的,解决了用户差异性问题.脑机接口

[11]

作为生理计算的一个重要内容,主要应用于采集大脑相关数

据,可以被动地检测用户认知状态,不会对用户造成额外的工作负荷.Cutrell 和 Tan 认为,通过用户大脑活动状态

来增加的隐式交互指令,可能是 BCI 最有前途的应用

[12]

具体地,本文提出一个“难度感知假设”,即使用功能近红外光谱仪作为实时输入脑机接口设备.监测用户受

到任务刺激后认知状态的变化,推测当前任务对用户的难易程度,从而动态调节传统目标选择辅助技术的参数,

帮助用户提高点击命中率,达到辅助技术在不同场景、不同用户间的自适应效果.

本文主要完成以下几个方面内容.

(1) 实验验证,在不同速度下的动态目标选择任务中,目标大小的改变会引发用户认知负荷状态产生显著

差异,这表明,可以用认知负荷状态推测用户对当前任务难度的感知,用认知负荷状态改进动态目标选择辅助系

统,这一方案是可行的.

(2) 本文构建基于用户认知负荷状态的动态目标选择辅助系统,可以应用于用户个性化的目标选择辅助,

对每个场景基本都能适应.

(3) 实验结果表明,本文构建基于用户认知负荷状态的动态目标选择辅助系统相比于其他两种对比实验方

案,在单次点击任务平均错误率上分别降低 20.55%和 12.09 %,平均完成时间分别降低 998.35ms 和 208.67ms.

of 12

免费下载

软件学报计算机技术

关注

评论