关于深度学习 这可能是你最容易读进去的科普贴了（二）

本篇文章2086字，读完约5分钟

一个

1970年，当神经网络研究的第一个冬天到来时。杰弗里·辛顿，一个23岁的年轻人，刚刚在英国爱丁堡大学获得心理学学士学位。

上世纪60年代，辛顿还是一名中学生时，就对脑科学着迷。当时，一位同学向他介绍了大脑记忆理论:

大脑中对事物和概念的记忆不是储存在一个地方，而是像全息图一样分布在一个巨大的神经元网络中。

分布式表示是神经网络研究的核心思想。

这意味着当你表达一个概念时，你不会用一个神经元来一对一地存储定义；概念和神经元具有多对多的关系:一个概念可以由多个神经元定义和表达，一个神经元也可以参与多个不同概念的表达。

给我举个最简单的例子。如果一辆“白色大卡车”以分布式的方式表达，一个神经元代表大小，一个神经元代表颜色，第三个神经元代表卡车的类别。当三个神经元同时被激活时，我们可以准确地描述我们想要表达的对象。

与传统的局部表示相比，分布式表示具有更高的存储效率。神经元数量的线性增长可以表达大量呈指数增长的不同概念。

分布式表示的另一个优点是，即使硬件故障发生在本地，信息的表达也不会受到根本的破坏。

这个想法使韩丁意识到，并使他在神经网络研究领域坚持了40多年。

大学毕业后，韩丁选择继续在爱丁堡大学攻读研究生，将人工智能作为他的博士研究方向。

我周围的一些朋友对此感到困惑。“你疯了吗？为什么要在这些事情上浪费时间？这种(神经网络)早已被证明是无稽之谈。”

1978年在爱丁堡获得博士学位后，辛顿来到美国继续他的研究工作。

二

明斯基批评神经网络的问题之一是计算量巨大。

简而言之，当传统感知器使用所谓的“梯度下降”算法来纠正错误时，所消耗的计算量与神经元数量的平方成正比。当神经元数量增加时，巨大的计算量超出了当时硬件的能力。

1986年7月，辛顿和戴维·鲁梅尔哈特在《自然》(Nature)杂志上联合发表了一篇题为《通过反向传播误差学习表征》的论文，首次系统而简明地阐述了反向传播算法在神经网络模型中的应用。

反向传播算法将纠错量减少到仅与神经元数量成比例。

反向传播算法通过在神经网络中增加一个所谓的隐藏层，也解决了传感器不能解决异或门的问题。

使用反向传播算法的神经网络在进行形状识别等简单工作时比感知器更有效。

20世纪80年代末，计算机的运行速度比20年前高出几个数量级。

神经网络的研究开始复兴。

三

扬·勒昆(中文叫他扬·乐纯)1960年出生于巴黎。1987年在法国获得博士学位后，他跟随辛顿教授在多伦多大学做了一年的博士后研究员，然后搬到新泽西的贝尔实验室继续他的研究工作。

在贝尔实验室，严于1989年发表了一篇论文，“反向传播算法在手写邮政编码中的应用”。他用美国邮政系统提供的近10，000个手写数字样本对神经网络系统进行了训练，训练后的系统在独立测试样本中的错误率仅为5%。

颜利用一种名为“复杂神经网络”的技术，进一步开发了读取银行支票上手写数字的商业软件，该技术在20世纪90年代末占据了美国近20%的市场份额。

这时在贝尔实验室，严的一个同事在办公室附近工作，把神经网络研究带入了第二个冬天。

四

弗拉德米尔·瓦普尼克，1936年出生于前苏联，1990年移民到美国，在贝尔实验室做研究。

早在1963年，vapnik就提出了支持向量机算法。支持向量机是一种精细的分类算法。

除了基本的线性分类之外，当数据样本是线性不可分的时，svm使用称为“核技巧”的非线性映射算法将线性不可分的样本转换到高维特征空间中，以使它们线性可分。

自20世纪90年代初以来，支持向量机作为一种分类算法，被广泛应用于图像和语音识别中。

在贝尔实验室的走廊里，严和瓦普尼克经常讨论(深度)神经网络和支持向量机的优缺点。

Vapnik的观点是，svm在“容量控制”中选择合适的平衡点是非常聪明的，而神经网络在这方面并不擅长。

什么是“容量调整”？举一个简单的例子:如果算法容量太大，就像一个有着极其准确记忆的植物学家，当她看到一棵新树时，因为这棵树的叶子数量与她之前看到的树不同，她就判断这不是一棵树；如果算法容量太小，就像一个懒惰的植物学家，每当你看到绿色的东西，你就会称它为树。

颜认为，用有限的计算能力解决高度复杂的问题比“容量调整”更重要。支持向量机虽然算法精巧，但本质上是一个双层神经网络系统。它最大的局限性在于它对“核机制”的选择。当图像识别技术需要忽略一些噪声信号时，卷积神经网络技术的计算效率远远高于支持向量机。

在手写邮政编码的识别上，支持向量机技术不断进步。1998年，错误率降低到0.8%以下，2002年最低达到0.56%，远远超过了同期传统神经网络算法的性能。

在实际的神经网络计算中还有另外两个主要问题:

首先，算法经常停留在局部最优解，而不是全局最优解。这就像“只看到树木，却看不到森林”。

其次，当算法训练时间过长时，会出现过拟合，噪声会被视为有效信号。

(待续)

这篇文章由读者提交，并不代表36英寸的立场。如有转载，请注明出处

“读完这篇文章还不够吗？如果你也开始创业，希望你的项目被报道，请点击这里告诉我们！”