中文分词入门之字标注法.pdf
100墨值下载
中文词入门之标注法
52nlp
2014-1-4
在沙自然语言处理领域的种创观念沚中，张俊林博士谈了种创模式一
种创是研究模式的颠覆，外一种创是用创，前者需要 NLP 领域出现爱
因坦式的革人物，者则是调用的心技术做一的用沔
在自然语言处理领域，多数创都属于者，譬如统计机器翻译，Brown 就是学
和借鉴了贾尼克将语音识别看通信的思想，将信源信道模型用 到
了机器翻译之中，而开辟了 SMT 一全领域沔而 Nianwen Xue 将词性标注的
思想用到中文词领域，就了标注的中文词方法Chinese Word
Segmentation as Character Tagging，得了巨大的沔曾通过
节选黄昌宁老师和赵海博士在 07 第 3 期沙中文信息学沚发表的沙中文
词十回顾沚绍了沙基于标注的中文词方法沚，因清楚类方法
的读者可通过述文章了解方法的一背景，本文的点是实践沔
既然基于标注的中文词方法是将中文词当词性标注的来对待，那
就必标注对象和标注集了沔形象一点，个方法的命们就可推断
出它的标注是基本的汉包括一定数量的非汉符，而标注集则较灵
活，标注集都是依据汉在汉语词中的置计的，最简单的是 2-tag，譬
如将词首标记计 B，而将词的他置标记计 I，那毐中毑就可
标记毐中/B /I毑，毐海南岛毑则可标记毐海/B 南/I 岛/I毑，相地，
对于如好词的子
瓦西 的 船只 中 ４％ 驶 向 东 ， 个 几乎 都 条
船 停靠 中 港口 沔
基于 2-tagB，I的标注就是
瓦/B 西/I /I /I 的/B 船/B 只/I 中/B /B ４/B /I ％/I 驶/B 向/B
/B 东/I ，/B /B 个/I /B 几/B 乎/I 都/B /B /B /I 条/I 船/B
停/B 靠/I 中/B /I 港/B 口/I 沔/B
除了 2-tag， 4-tag沓6-tag 等，都是依据在词中的置计的，本文
要目的是实践的角度绍基于标注的中文词方法计，达到抛砖引玉的
用，因们仅选用 2-tagB，I标注集行实验说明沔
了标注对象和标注集，那又如何行中文词呢？前面的子例，只
过没行中文词
瓦西的船只中４％驶向东，个几乎都条船停靠中港口沔
首先，你需要将标注对象独立出来，实就是给个符空格
瓦 西 的 船 只 中 ４ ％ 驶 向 东 ， 个 几 乎 都
条 船 停 靠 中 港 口 沔
，假你经训好了一个标注器，那就直接给行标注
瓦/B 西/I /B /I 的/B 船/I 只/B 中/B /B ４/I /I ％/I 驶/I 向/B
/I 东/B ，/B /B 个/I /I 几/B 乎/I 都/B /I /B /B 条/B 船/I
停/B 靠/I 中/B /I 港/I 口/I 沔/B
最，需要你做得就是按照个标记的意思原中文词，并且除去标记
瓦西 的船 只 中 ４％驶 向 东 ， 个 几乎 都 条船
停靠 中港口 沔
好了，就是标注方法的流程和词结果，很遗憾，个标注器的效果好，
过没关系，你可计更好的标注器，英文词性标注的被老外研究 的充
了，什 HMM沓TBL沓最大熵沓条件随机场沓策树等等等等，仅仅是方法，
连开源工都给你提供，完全可拿来沔
那又怎拿来计自的标注中文词器呢？知读者可记着 Citar,
记得的可温一沙
HMM 在自然语言处理中的用一词性标注 6沚，Citar
是一个毐Hi北北优次 Ma严k欢天 M欢北优速 吧严i会严a造 PO分 吧a会会优严毑，需要标注好的语料来
训相语言的词性标注器，心的 HMM 标注框架是依赖于语言的，但是在
处理未登录词时 Citar 是要利用英 文词缀信息行标注的，因对于英文
词性标注来说效果相对较好，对于他语言，特别是中文种没词形的孤
立语来说，词性标注效果要一点折扣沔 过没关系，要谈的是思想，
而是工程的用，因暂时可忽略点影响，对于本文利用所计的
标注器来说，适用沔
可是哪的训语料呢？俗说得好自动手，丰衣足食沔虽然没哪
个提供的标注语料，但是们 SIGHAN Bakeoff 提供的
icwb2-data，你完全可利用自熟悉的编程语言写一个前处理程序，将转
们所需要的标注训语料形式沔一节 们将微洲研究院提供
的中文词语料例,利用 Citar 完一个基于 HMM trigram 的标注中文词
程序沔
of 25
100墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论