谷歌黑板报--数学之美.pdf

sunKJ

291

45页

0次

2021-03-04

50墨值下载

数学之美 系列一‐‐统计语言模型..............................................................................................2

数学之美 系列二‐‐谈谈中文分词..............................................................................................3

数学之美 系列三‐‐隐含马尔可夫模型在语言处理中的应用...................................................5

数学之美 系列四‐‐怎样度量信息?............................................................................................7

数学之美 系列五‐‐简单之美：布尔代数和搜索引擎的索引...................................................9

数学之美 系列六‐‐图论和网络爬虫 (WebCrawlers).............................................................11

数学之美 系列七‐‐信息论在信息处理中的应用....................................................................13

数学之美 系列八‐‐ 贾里尼克的故事和现代语言处理..............................................................15

数学之美 系列九‐‐如何确定网页和查询的相关性................................................................17

数学之美 系列十 有限状态机和地址识别

.................................................................................19

数学之美 系列十一‐Google 阿卡 47 的制造者阿米特.辛格博士........................................20

数学之美 系列十二‐余弦定理和新闻的分类..........................................................................21

数学之美 系列十三 信息指纹及其应用.....................................................................................24

数学之美 系列十四 谈谈数学模型的重要性.............................................................................25

数学之美 系列十五 繁与简 自然语言处理的几位精英...........................................................27

数学之美 系列十六（上） 不要把所有的鸡蛋放在一个篮子里‐‐谈谈最大熵模型...........29

数学之美 系列十六 （下）－ 不要把所有的鸡蛋放在一个篮子里最大熵模型...............31

数学之美 系列十七 闪光的不一定是金子 谈谈搜索引擎作弊问题(SearchEngineAnti‐

SPAM)

........................................................................................................................................................32

数学之美 系列十八 － 矩阵运算和文本处理中的分类问题...................................................35

数学之美 系列十九 － 马尔可夫链的扩展 贝叶斯网络 (BayesianNetworks)......................37

数学之美 系列二十 －自然语言处理的教父 马库斯...............................................................38

数学之美 系列二十一 － 布隆过滤器（BloomFilter）...........................................................39

数学之美 系列二十二 由电视剧《暗算》所想到的 — 谈谈密码学的数学原理..................41

数学之美 系列二十三 输入一个汉字需要敲多少个键 — 谈谈香农第一定律......................44



数学之美 系列一 ‐‐ 统计语言模型

2006 年 4 月 3 日上午 08:15:00

从本周开始，我们将定期刊登

Google

科学家吴军写的《数学之美》系列文章，介绍数学在信

息检索和自然语言处理中的主导作用和奇妙应用。

发表者: 吴军, Google 研究员

前言

也许大家不相信，数学是解决信息检索和自然语言处理的最好工具。它能非常清晰地描述这些领

域的实际问题并且给出漂亮的解决办法。每当人们应用数学工具解决一个语言问题时，总会感叹

数学之美。我们希望利用 Google 中文黑板报这块园地，介绍一些数学工具，以及我们是如何

利用这些工具来开发 Google 产品的。

系列一：统计语言模型 (Statistical Language Models)

Google 的使命是整合全球的信息，所以我们一直致力于研究如何让机器对信息、语言做最好的

理解和处理。长期以来，人类一直梦想着能让机器代替人来翻译语言、识别语音、认识文字（不

论是印刷体或手写体）和进行海量文献的自动检索，这就需要让机器理解语言。但是人类的语言

可以说是信息里最复杂最动态的一部分。为了解决这个问题，人们容易想到的办法就是让机器模

拟人类进行学习 - 学习人类的语法、分析语句等等。尤其是在乔姆斯基（Noam Chomsky 有

史以来最伟大的语言学家）提出 “形式语言” 以后，人们更坚定了利用语法规则的办法进行文字

处理的信念。遗憾的是，几十年过去了，在计算机处理语言领域，基于这个语法规则的方法几乎

毫无突破。

其实早在几十年前，数学家兼信息论的祖师爷香农

(Claude Shannon)就提出了用数学的办

法处理自然语言的想法。遗憾的是当时的计算机条件根本无法满足大量信息处理的需要，所以他

这个想法当时并没有被人们重视。七十年代初，有了大规模集成电路的快速计算机后，香农的梦

想才得以实现。

首先成功利用数学方法解决自然语言处理问题的是语音和语言处理大师贾里尼克 (Fred

Jelinek)。当时贾里尼克在 IBM 公司做学术休假 (Sabbatical Leave)，领导了一批杰出的科

学家利用大型计算机来处理人类语言问题。统计语言模型就是在那个时候提出的。

给大家举个例子：在很多涉及到自然语言处理的领域，如机器翻译、语音识别、印刷体或手写体

识别、拼写纠错、汉字输入和文献查询中，我们都需要知道一个文字序列是否能构成一个大家能

理解的句子，显示给使用者。对这个问题，我们可以用一个简单的统计模型来解决这个问题。

如果 S 表示一连串特定顺序排列的词 w1， w2，…， wn ，换句话说，S 可以表示某一个

由一连串特定顺序排练的词而组成的一个有意义的句子。现在，机器对语言的识别从某种角度来

说，就是想知道 S 在文本中出现的可能性，也就是数学上所说的 S 的概率用 P(S) 来表示。利

用条件概率的公式，S 这个序列出现的概率等于每一个词出现的概率相乘，于是 P(S) 可展开

of 45

50墨值下载

database

关注

评论