Hinton 神经网络与机器学习笔记（TingxunShi）.pdf
免费下载
Hinton神经网络与机器学习 1. 绪论
本文作者： Tingxun Shi
本文链接： http://txshi-mt.com/2017/11/12/UTNN-1-Introduction/
版权声明： 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 3.0 许可协议。转载请注明出处！
为什么需要机器学习？
对于一些问题，例如在复杂环境里，如何在新的光源条件下识别三维物体，编写程序去解决这些问题本来就是
非常困难的：我们也不知道我们的大脑到底是如何运作来识别它的，即便我们知道，写出来的程序可能也十分
复杂。对于另外一些问题，例如判断某笔信用卡交易有多大概率是欺诈性的，可能无法给出简单有效的规则。
要解决这样的问题，需要将很多种比较弱的规则组合起来。而且，所谓“道高一尺魔高一丈”，犯罪分子也会根
据系统的判别手段，调整欺诈的方式，这就使得判别系统/程序也得随之变化
这些问题可以使用机器学习这一技术来解决：开发人员不再需要为每个特殊的任务编写程序，而是收集很多样
本，这些样本针对给定的输入，会相应标记一个正确的输出。机器学习算法会接受这些样本，产生一个程序来
完成指定的任务——这个产生的程序与传统的人工手写的程序不同，可能只包含一些数字。如果收集的数据是
正确的，那么对于新来的，未在输入数据里出现的例子，程序也能正确处理；如果数据产生了变化（就像信用
卡欺诈的例子里那样），开发人员也只需要使用新的数据进行训练，来对程序进行变化。在现阶段，使用机器
做大量计算所花的钱比雇人为某个任务写代码的花费是要少一些的
典型的可以使用机器学习来解决的问题包括：
模式识别，例如识别物体、识别脸孔或识别所说的单词
异常识别，例如识别信用卡交易中的异常交易序列、在核电站识别传感器的异常读数。注意解决这样的问
题有时甚至不需要明确地说明哪些值是正常的，哪些是异常的，而是完全由算法去发掘
预测，例如预测将来某一天股票的价格或者外汇汇率，以及用户对某部电影的评分
在这诸多问题中，本课将挑选一个作为一个典型样例贯穿始终。类比于遗传学中的工作，由于人们对果蝇的习
性了解很多，而且果蝇繁殖速度很快，因此遗传学经常使用果蝇作为研究对象。本课所选的“果蝇”是MNIST数
据库，这里面包含了很多人手写的数字。MNIST是公开的，可以被随意下载，而且使用MNIST作为训练数据可
以很快训练一个中等大小的神经网络，此外，我们也了解其它很多机器学习算法在MNIST上的效果，因此
MNIST是一个很好的例子
MNIST数据集的一个例子
上图给出了MNIST数据集的一个片段，所有的手写数字已经按照进行了归类排序。也就是说，图中的所有数字
先是所有0，再是所有1，以此类推，一直到9。以图中用绿框框起来的手写的2为例，如果被告知“这就是手写
数字”，那么人们大概是能看出来这些数字是2的，但是并不能用一两句话说清楚这些图像为什么就是2。图中
给出的这些数字相互之间形状差异很大，即便是做一些简单的变化（例如旋转）也很难让任意两个数字重叠在
一起，因此使用模板来做判定是基本不可能的——这也就是为什么这个任务是一个很好的机器学习任务的原因
在MNIST之上，还有一个更大的数据集ImageNet。该数据集提供了130万张高分辨率的图片，算法的目标是将
每张图片分到1000个分类中正确的那一个。2010年时，最好的系统的top 5 choices错误率为25%。2012年
时，使用深度学习训练处的模型做到了20%。到了2015年，最好的算法在这项指标上已经可以达到3.8%，而
多个深度神经网络的组合模型甚至可以达到3.08%（http://ischlag.github.io/2016/04/05/important-ILSVRC-
achievements/）
此外，语音识别也是深度学习非常适用的一个场合。通常来讲，语音识别系统可以细分为三个阶段：
预处理阶段。在这个阶段，声波会被转化为一些声学系数组成的向量。通常情况下，每十毫秒的声波会被
转化为一组向量
声学建模阶段。在这个阶段，会使用相邻的若干向量进行推测，猜测这些向量对应了什么音素
解码阶段。在这个阶段，将上一阶段做出的预测进行组合，拟合出的模型将输出说话人所说的内容文本
深度学习模型在这样的任务上取得的成绩是斐然的。对于TIMIT数据集，2012年之前最好的模型错误率是
24.4%，而且需要对多个模型进行组合。2012年George Dahl和Abdel-rahman Mohamed的8层神经网络将错误
率降低到了20.7%。这样的成绩也引起了微软研究院邓力的关注。对于其它语音识别任务，深度学习模型也能
够取得比传统GMM模型更好的效果，而且训练时间更短
神经网络是什么？
of 88
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论