鲸技术：谈谈深度学习技术

什么是深度学习

2016年基于深度学习的围棋Alpha Go的出现，将人工智能的热潮推向了一个新的高点，在这几年当中，尤其是深度学习的概念几乎等同于了人工智能。

鲸技术总结和概括了人工智能、机器学习、深度学习三者之间的关系图，深度学习作为机器学习的一个分支，在近几年发展尤为突出，引发了人工智能的第三次浪潮。

深度学习的概念源于人工神经网络，比如：卷积神经网络、循环神经网络等。人工神经网络模拟生物大脑，通过互相连接的神经元组成网络，这些网络可以通过修改神经元之间的连接来学习“经验”特征值，整个隐藏网络层的核心就是保存模型所有的特征值。

目前深度学习具有一套丰富的建模框架，用来表达数据内在的丰富关系和结构，直接作用于原始数据，自动逐层做数据特征变换。

 

这些网络都是通过计算机编程以惊人的速度发生，程序保持着神经网络中数百万单位和数亿的连接，核心的“智能”就源于这些大量元素之间的交互。所以深度学习中的神经网络不是“魔术”，更多是计算机科学与技术。

大数据与深度学习的关系

信息化程度的普及，包含鲸技术在内的很多企业在大数据发展的浪潮中存储了海量、多维度、多形式的数据，资产化和规模化使得大数据具有很大的潜在价值，探索大数据如何连接技术推动产品和服务的升级形成了一种新的发展趋势。

 

鲸技术在面对数据驱动型发展的趋势中同样也面临着数据的数量和数据处理效率之间的矛盾。

数据挖掘是个很宽泛的概念，其常用方法大多来自于机器学习这门学科。深度学习的出现可以更好地通过增加数据集的规模来改善学习结果，由于以深度学习分析和处理大数据效果取得了很大程度的突破，它自然就成了大数据挖掘开发应用的有力工具。

如果把深度学习比作火箭的引擎，大数据就是燃料，深度学习可以利用大数据这种燃料将人工智能推向一个新高度。

深度学习更具有生产力

人工智能发展的几十年时间里，我们一开始设计和开发了基于规则的程序，可在特定的上下文环境提供了初步的“智能”处理，但这样的发展很快遇到了瓶颈，因为处理许多现实问题的算法对于靠人工编程来解决太过复杂。

比如识别图像，电子邮件垃圾分类，根据用户投资历史推荐产品等，这些都涉及到成千上万的数据集，以及特征变量之间非线性的关系，我们很难编写出定某个规则描述事物的特征。

假设：我们设计一个区分客车、货车、乘用车、皮卡车的图像分类模型

传统机器学习方案：专业人员总结和提取各种车辆的特征变量，比如：轴距、造型、尺寸等因素，模型基于特征变量设计，机器后期的训练赋予了模型的“学习能力”，然而这个能力更多的是对现有数据的特征变量赋予权重来优化训练的算法。

      我们在研究传统机器学习的过程中发现：基于上述的图像分类模型可靠性还是存在一定的风险，因为现实生活中影响图片分类因素不止上述的几种，比如图像中车子的方位、位置、光线的角度等我们没法一一穷举出的特征变量。

 

      传统机器学习在数据挖掘处理中核心解决了：把特征变量和数据优化的难题从程序员转移给了程序算法。

传统机器学习在几十年的发展中，仍有很多问题未能解决。其中包括：BP算法随着网络层次的加深，参数优化效果无法传递到前层，从而导致容易出现局部最优解或过拟合问题；在实际应用中需要手工设计特征和线性分类器，它不仅依赖领域专家的知识，还需要人在学习过程中参与这使得学习耗时耗力。

于是就诞生了深度学习，它继承了传统机器学习优势，更进一步发展了“自我”特性提取的智能。

深度学习的突破是对大脑而不是建模，把近似于大脑神经元功能的、人工的、基于软件的计算器连接到一起。也就是我们之前提到过的“神经网络”，这个网络接收输入（比如汽车图片），分析它，对它做出判断然后再接收自己判断是否正确的信息。如果输出错误，算法就会对神经元之间的连接进行调整，而这将改变未来的预测。一开始神经网络会发生很多的错误。但随着我们提供了上百万的例子，神经元之间的连接就会不断得到调整，最终使得这个网络几乎在所有情况下都能得出正确决定。

 深度学习更多的解决了人为特征提取的困难，从数据中学习而来，从本质上融合了多层表示学习方法的非线性组合，从原始数据开始将每层特征逐层转换为更高层更抽象的表示，从而发现和提取高维数据中错综复杂的特征。