2019面向肌电信号的虚拟现实提线木偶动画研究-谭宇彤 , 周旭峰 , 孔令芝 , 王醒策 , 武仲科 , 税午阳 , 付艳 , 周明全 , Vladimir KORKHOV , Luciano Paschoal GASPARY.pdf
免费下载
软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
Journal of Software,2019,30(10):29642985 [doi: 10.13328/j.cnki.jos.005786] http://www.jos.org.cn
©中国科学院软件研究所版权所有. Tel: +86-10-62562563
面向肌电信号的虚拟现实提线木偶动画研究
谭宇彤
1
,
周旭峰
1
,
孔令芝
1
,
王醒策
1
,
武仲科
1
,
税午阳
1
,
付
艳
1
,
周明全
1
,
Vladimir KORKHOV
2
, Luciano Paschoal GASPARY
3
1
(北京师范大学 人工智能学院,北京 100875)
2
(Department of Computer Modeling and Multiprocessor Systems, St.Petersburg State University (SPBU) 199034, Russia)
3
(Institute of Informatics, Federal University of Rio Grande do Sul (UFRGS) 15064, Brazil)
通讯作者: 王醒策, E-mail: wangxingce@bnu.edu.cn 同等贡献: 武仲科, E-mail: zwu@bnu.edu.cn
摘 要: 泉州提线木偶属于首批中国非物质文化遗产,是中华传统文化的实现形式之一.然而,由于木偶体积庞大,
携带与操作不便,直接限制了其受众群体.为了实现提线木偶的有效传承与保护,设计了基于手势识别的虚拟现实提
线木偶动画方案,构建了基于 MYO 臂环肌电信号的人体生理信号控制动画原型系统,应用两个用户实验验证了算
法的高精确性与易操控性.首先,通过低通滤波与平滑实现多通道肌电信号数据的信号处理.其次,提取八通道时域
特征与时频域特征,并通过线性判别器将其降维为六维特征向量,实现特征间关联性消除与算法鲁棒性增强.最后,
构造多分类支撑向量机实现特征向量,确定手势识别结果.实验验证算法离线动作平均识别准确率为 95.59%,实时
动作平均识别准确率达到 90.75%,在 1.1s 左右完成手势识别.面向提线木偶任务,构造了两个用户体验任务,普通用
户人群中,木偶动作识别率较高,用户使用意愿、易学性等方面,系统性能亦显著高于真实木偶操控;专业用户在承
认系统可用性的同时,具有较高的接受度.用户任务表明该设计满足了手势识别实时性和准确性的要求,具有良好的
交互性和趣味性.相关研究可以广泛地应用于计算机动画等类似的系统,对于体验和保护提线木偶具有现实意义.
关键词: MYO 臂环;EMG 信号处理;手势识别;SVM;LDA
中图法分类号: TP391
中文引用格式: 谭宇彤, 周旭峰, 孔令芝, 王醒策, 武仲科, 税午阳, 付艳, 周明全,Vladimir KORKHOV,Luciano Paschoal
GASPARY.面向肌电信号的虚拟现实提线木偶动画研究.软件学报,2019,30(10):29642985. http://www.jos.org.cn/1000-9825/
5786.htm
英文引用格式: Tan YT, Zhou XF, Kong LZ, Wang XC, Wu ZK, Shui WY, Fu Y, Zhou MQ, Korkhov V, Gaspary LP. Research
on puppet animation controlled by electromyography (EMG) in virtual reality environment. Ruan Jian Xue Bao/Journal of
Software, 2019,30(10):29642985 (in Chinese). http://www.jos.org.cn/1000-9825/5786.htm
Research on Puppet Animation Controlled by Electromyography (EMG) in Virtual Reality
Environment
TAN Yu-Tong
1
, ZHOU Xu-Feng
1
, KONG Ling-Zhi
1
, WANG Xing-Ce
1
, WU Zhong-Ke
1
, SHUI Wu-Yang
1
,
FU Yan
1
, ZHOU Ming-Quan
1
, Vladimir KORKHOV
2
, Luciano Paschoal GASPARY
3
1
(College of Artificial Intelligence, Beijing Normal University, Beijing 100875, China)
基金项目: 国家重点研发计划政府间重点专项金砖国家合作项目(2017YFE0100500); 国家科技支撑计划(2017YFB1002604,
2017YFB1402100; 2017YFB 1002804); 北京市自然科学基金(4172033)
Foundation item: National Key Research and Development Plan of of Cooperation between the BRICS of China (2017YFE
0100500); National Key R&D Program of China (2017YFB1002604, 2017YFB1402105, 2017YFB1002804); Beijing Natural Science
Foundation of China (4172033)
本文由“自然人机交互新进展”专题特约编辑田丰、喻纯推荐.
收稿时间: 2018-08-19; 修改时间: 2018-11-01; 采用时间: 2018-12-25; jos 在线出版时间: 2019-04-29
CNKI 网络优先出版: 2019-04-30 10:09:24, http://kns.cnki.net/kcms/detail/11.2560.TP.20190430.1009.012.html
谭宇彤 等:面向肌电信号的虚拟现实提线木偶动画研究
2965
2
(Department of Computer Modeling and Multiprocessor Systems, St. Petersburg State University (SPBU) 199034, Russia)
3
(Institute of Informatics, Federal University of Rio Grande do Sul (UFRGS) 15064, Brazil)
Abstra ct : Quanzhou puppet is one of the intangible cultural heritages of China. It is the physical embodiment of traditional Chinese
culture. However, the large size of the puppet and inconvenience to carry and manipulate directly makes it hard to reach a wider audience.
In order to realize the effective inheritance and protection of Quanzhou puppet, this study designs a virtual real-line puppet animation
scheme based on gesture recognition, builds a prototype system which uses MYO Armband EMG signal to control the generation of
animation, and applies it in user experiment to verify the high accuracy and easy manipulation of the algorithm. Firstly, low-pass filtering
and smoothing is used to process the original multi-channel EMG data. Secondly, after eight-channel EMG signal time-domain feature and
time-frequency-domain feature extraction, the dimension of the feature vector is reduced to six by linear discriminator to eliminate the
correlation between features and enhance the robustness of the algorithm. Thirdly, a multi-class support vector machine is constructed
which uses feature vector to determine the result of gesture recognition. Experiments show that the average recognition accuracy of
offline action is 95.59%, the average recognition accuracy of real-time action is 90.75%, and the gesture recognition is completed within
1.1 s. For the puppet task, two users task is designed: the common users and the expert users. In the common user study, the gestures
recognition accuracy is high. In the aspects of user’s willingness to use and easiness to learn, the performance of this system is
significantly higher than real puppets manipulation. In the expert user study, user’s acceptance and usability of the system are also highly
evaluated. These two user tasks indicate the system meets the requirements of real-time and accuracy, and has good interactivity and
interesting. Relevant research can be widely applied to similar systems, such as computer animation. It has practical significance for
experiencing and protecting the puppet.
Key words: MYO armband; EMG signal processing; gesture recognition; SVM (support vector machine); LDA (linear discriminant
analysis)
提线木偶是中国传统文化精粹之一,但目前对它的保护与传承却存在重大问题.提线木偶,又被称为“悬丝
傀儡”,起源于秦汉时代,由于其精良的木偶制作工艺与精湛的表演技艺,在 2006 年被确立为首批国家级非物质
文化遗产.但是,由于目前人们文化生活的丰富以及审美情趣的变化,观赏提线木偶戏的人越来越少,受众不停
地萎缩.究其原因,主要有以下 3 点.首先,提线木偶这种古老的戏种中木偶笨重,道具繁杂,搬运不便,不适于远距
离长途演出.其次,提线木偶一般都系有 16 条甚至多达 30 余条纤细悬丝,线条繁多,操作复杂,普通人参与难度较
大.最后,提线木偶剧目的展示方式以录制影像视频和剧团表演为主
[1]
,缺少具有创新性的方案.
近年来,随着信息技术的跨越式发展,使用数字化手段在虚拟现实环境中实现提线木偶的保护与传承成为
可能.虚拟现实涉及计算机图形学、人机交互技术、传感技术、人工智能等领域,它利用计算机的软/硬件资源
实时生成与现实物理世界对应的三维虚拟世界,从视觉、听觉、触觉、味觉、嗅觉等多感官通道为用户提供身
临其境的真实感受.应用虚拟现实技术实现提线木偶的载体模型设计与构建,可有效缓解木偶与布景移动的困
难.通过构造基于生理数据的用户与提线木偶的自然交互方式,实现提线木偶整体动画,在提供用户体验的真实
感和沉浸感之外,还可以增加用户参与感与交互性.通过交互可实现木偶剧目的快速编辑和存储,便于实现木偶
剧的存储以及三维虚拟显示与展陈,为木偶剧的传播提供了新的途径.因此,构建在虚拟现实环境下普通大众可
体验性的提线木偶操控,对于提线木偶的传承具有重要的意义
[2]
.
与传统二维线条动画、三维立体动画相比,虚拟现实环境下的木偶动画交互研究还处于起步阶段.
Narukawa
[3]
利用视觉传感器获得木偶的运动文件,实现木偶的动态创作.Tseng
[4]
采用增强现实构建舞台布景,实
现了木偶在虚拟场景中的表演.但是,Narukawa 仅关注于木偶及木偶运动的三维快速建模,而 Tseng 中依然是对
实体木偶模型进行操控.Smart Glove
[5]
与我们的工作类似,它通过数据手套做出手势控制木偶活动.但是,数据手
套束缚感较强,手与手指运动范围有限,其交互的便捷性和自然性都有待提高.同时,数据手套价格偏高,不利于
大规模的推广与普及.
人在完成各种手势的过程中,手部、前臂及大臂的运动引起上肢肌肉收缩舒张以及上肢运动状态变化.我
们可用陀螺仪、加速度计和磁强计通过测量位置、速度和加速度等外蕴运动信号来描述人的手部运动,实现手
势识别.同时,肌肉收缩舒张也将在手臂肌肉表面直接产生肌电信号,通过肌电仪可以获得这种人体内蕴生理信
号,并完成手势描述.外蕴运动信号描述(位置、速度和加速度)是手部肌肉变化的间接反映,信号会受到风力、湿
of 22
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论