2019面向人机对话意图分类的混合神经网络模型-周俊佐 , 朱宗奎 , 何正球 , 陈文亮 , 张民.pdf

上善若水

212

13页

0次

2022-05-23

免费下载

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn

Journal of Software,2019,30(11):3313−3325 [doi: 10.13 328/j.cnki.jos.005862] http://www.jos.org.cn

面向人机对话意图分类的混合神经网络模型

∗

周俊佐

朱宗奎

何正球

陈文亮

张

民

(苏州大学计算机科学与技术学院人工智能研究院,江苏苏州 215008)

通讯作者: 陈文亮, E-mail: wlchen@suda.edu.cn

摘要: 随着人机对话的不断发展,让计算机能够准确地理解用户查询意图,对整个人机对话领域都有着重要意

义.意图分类的主要目标是在人机对话的过程中判断用户的意图,提升人机对话系统的准确度与自然度.首先分析多

个分类模型在意图分类任务上的优缺点.在此基础上,提出一种混合神经网络模型,综合利用多个深度网络模型的多

样性输出.在输入特征预处理上,采用语言模型词向量,将语言模型拥有的语义挖掘能力应用到混合网络中,可以进

一步提升模型的表达能力.所提出的混合神经网络模型相对于最好的基准模型在两份数据集上分别取得了 2.95%

和 3.85%的性能提升.新模型在该数据上取得了最优的性能.

关键词: 混合模型;意图分类;语言模型;注意力机制;胶囊网络

中图法分类号: TP18

中文引用格式: 周俊佐,朱宗奎,何正球,陈文亮,张民.面向人机对话意图分类的混合神经网络模型.软件学报,2019,30(11):

3313−3325. http ://www.jos.org.cn/1000-9825/5862.htm

英文引用格式: Zhou JZ, Zhu ZK, He ZQ, Chen WL, Zhang M. Hybrid neural network models for human-machine dialogue

intention classification. Ruan Jian Xue Bao/Journal of Software, 2019,30(11):3313−3325 (in Chinese). http://www.jos.org.cn/

1000-9825/5862.ht m

Hybrid Neural Network Models for Human-machine Dialogue Intention Classi ficatio n

ZHOU Jun-Zuo, ZHU Zong-Kui, HE Zheng-Qiu, CHEN Wen-Liang, ZHANG Min

(Institute of Artificial In telligence, S chool of Computer Science and Technology, Soochow Universit y, Suzhou 215008, China)

Abstra ct : With the development of human-machine dialogue, it is of great significance for the computer to accurately understand the

user’s query intention in human-machine dialogue systems. Intention classifi cation aims at judging th e user ’s intention in human machine

dialogue and improves the accuracy and naturalness of the hu man machine dialogue system. This s tudy first analyzes the advantages and

disadvantages of multiple classification models in the intention classification task. On this basis, this study proposes a hybrid neural

network model to comprehensively utilize the diversity outputs of multiple deep network models. To further improve the perfoance, the

language model embedding is used in the input feature preprocessing and the semantic mining ability possessed for the hybrid network

which can effectively improve the expression ability of the model. The proposed model achieves 2.95% and 3.85% performance

improvement on the two data sets respectively compared to the best benchmark model. The proposed model also achieves the top

performance in a shared task.

Key words: hybrid model; intention classification; language model; attention mechanism; capsule network

近年来,随着数字虚拟人技术、移动终端和语音识别处理的快速发展,人与计算机直接对话与问答的人机

交互形式变得越来越重要.目前,许多数字虚拟人能逼真地朗读出用户给定的内容、理解用户的查询意图、回

答用户信息查询信息以及购物问题等等

[1]

.国内外各个机构和组织纷纷开发了自己的人机对话系统,例如 2011

∗ 基金项目: 国家自然科学基金(61876115, 61572338, 61525205); 江苏高校优势学科建设工程(PAPD)

Foundation item: National Natural Science Foundation of China (61876115, 61572338, 61525205); Project Funded by the Priority

Academic Program Develop ment of J iangsu High er Edu cation Ins titutions

收稿时间: 2019-0 1-15; 修改时间: 2019-03-12; 采用时间: 2019-04-04

3314

Journal of Software 软件学报 Vol.30, No.11, November 2019

年苹果公司推出的 siri、2013 年科大讯飞的灵犀语音助手、2014 年微软的 cortana、201 5 年百度的度秘和微

软的小冰以及最近谷歌提出的 google assistant 等.它们有的属于聊天机器人,注重于与用户闲聊;有的属于语音

助手,注重于知识服务和事物的处理.在实验室和市场环境的帮助下,这些系统都取得了巨大的进步.这些人机

对话系统都包含意图分类这一核心模块.意图分类是自然语言理解中的基础任务.在人机对话领域中,通常的做

法是,先将用户语音通过语音识别技术转换成文本,然后再通过意图分类算法将其识别到相应类型下的具体意

图.这样可以识别出用户输入到对话系统执行某个动作之间的一个映射关系,达到识别和理解用户要表达的

意图.

尽管目前语音识别技术在书面语的识别上表现优异,但是在口语语音识别上,由于口语自身特性以及用户

口语随意性的影响,很容易导致语音识别系统输出错误,使得意图分类系统无法正确理解用户的意图.这会导致

对话系统无法正确回答用户的问题,严重情况下,会使得人机自然对话被迫中断.这些情况在很大程度上降低了

人机对话的流畅度.伴随着深入研究发现,人机交互过程中,对用户进行正确意图分析能够有效提高人机交互的

自然度

[2,3]

.意图分类应用范围广泛,从智能问答到对话系统,近几年也逐渐成为研究热点.

在人机对话过程中,我们通过意图分类判断用户意图,再触发相应的业务类型.在本文的意图分类数据上,

意图分类任务中,业务类型包括查询类、办理类和咨询类这 3 种,每个业务类型下还有多种不同的用户意图.

表 1 给出了一个例子,表示客服和用户的语音对话记录,其中,1 为客服语音文本,2 为客户语音文本.

Tab le 1 An example of intention cla ssificati on

表 1 一个意图分类的例子

1 您好请说

2 哎那天只能提醒

1 转来电提醒是吧

2 行行好的哎

1 就把所有的电话都在来电提醒吗

2 好的

1 好呀请稍等那我帮你设置好了所有的电话都转来电提醒了还需要其他帮助吗

2 不用

业务类型:办理

用户意图:下载/设置

类别合并:办理-下载/设置

和大多的短文本分类任务不同,在人机对话意图分类中,主要存在这样一些问题.

• 其一是受限于语音识别性能和用户不同的口音、语义表达喜好和对网络流行用语的使用程度导致的

文本不规范问题,容易出现不规则特征词和未登录词,导致文本表示方法不够准确.

• 其二是人类对话文本以寒暄和多轮询问式对话为主,文本通常只包含极少实际有意义的词语,导致内

容具有特征稀疏性问题,增加了抽取有效特征的难度.

• 其三是不同人的语言表达喜好和语义精简能力有较大差异性,会造成文本长度分布不均匀,影响系统

性能.

随着文本表征和深度学习技术的发展,研究者对文本分类任务进行了大量的研究,提出了许多有效的模型.

但是不同的模型各有优异,且在不同的语料上表现差异也较大,难以确定哪种模型最好.其中主要的原因在于,

在不同语料甚至同一份语料上的文本长度分布和内容差异太大,而在模型设计上过于注重在短文本或者长文

本上的单方面优化,导致模型的鲁棒性不高

[4−6]

.本文首先在本文的意图分类数据上验证了这些模型的有效性,

分析各个模型的特点.为了进一步提高意图分类性能,受启发于 GoogLeNet 的 Inception 结构

[7]

,我们提出一种混

合模型网络结构,综合利用在长文本或短文本上表现优异的多个模型,提升网络模型的整体效果,同时增加了鲁

棒性.在此基础上,我们验证了语言模型在意图分类任务上的有效性,通过在混合模型网络结构上增加了

ELMo

[8]

,系统性能得到进一步的提升,并在本文数据的公开评测上取得了最优的性能.

本文的主要贡献包括:

of 13

免费下载

软件学报计算机技术

关注

评论