关于深度学习 这可能是你最容易读进去的科普贴了（四）

本篇文章1695字，读完约4分钟

编者按:本文作者王川是一位投资者，中国科技大学三年级的校友，现居美国加州硅谷，个人微博9935070，微博@硅谷王川。36氪星被授权从其个人微信公众账户investguru复制。请在此查看这一系列文章。

一个

20世纪90年代末，神经网络研究遇到的困难是缓慢的。

除了计算速度的因素外，传统的神经网络反向传播算法极难捕捉昆虫，一个基本问题称为消失梯度问题。

1991年，德国学者sepp hochreiter首次明确提出了这个问题，并阐明了原因。

简而言之，当代价函数从输出层向后传播时，梯度衰减得非常快，学习速度变得非常慢，因此神经网络很容易停滞在局部最优解处而不能自拔。

就像原始部落的小混混。当山里没有老虎时，统治这个国家是非常舒服的。然而，任何关于“外部世界是美好的”的信息都被落后的逐层通信机制中的噪音混淆所淹没。

小混混一生都很开心，没有意识到外面的世界有多大，也不想出去多看看。

二

支持向量机技术在图像和语音识别中的成功使得神经网络的研究再次陷入低谷。

支持向量机在理论上更加严谨和完整，重复性好，容易上手，受到主流学术界的追捧。

学术界的共识是多层神经网络的计算模型在实践中是无效的，没有前途。这是一条死胡同。

在本世纪初，这种情况变得如此糟糕，以至于当任何论文被送到学术期刊时，研究人员都不敢使用“神经网络”这个词来避免被粗暴地拒绝。

2003年，仍在多伦多大学的杰弗里·辛顿在神经网络领域努力工作。

一位56岁的穷教授已经从事了30多年没有前途的研究。他不得不到处绞尽脑汁，申请研究经费。他不是卢瑟，谁是卢瑟？

2003年，在温哥华大都会酒店，15名来自不同专业的科学家在辛顿的带领下，与加拿大高等研究院(cifar)基金管理主管梅尔文·西尔弗曼进行了交谈。

西尔弗曼问每个人为什么cifar支持他们的研究项目。

计算神经科学研究员塞巴斯蒂安·宋(现为普林斯顿大学教授)回答说:“哦，因为我们有点怪。”如果cifar想跳出自己的舒适区，找到一个高风险、高探索性的团队，它应该资助我们！”

最后，cifar同意从2004年起为该组织提供10年的支持，总额为1000万加元。Cifar成为当时世界上唯一支持神经网络研究的机构。

毫不夸张地说，如果没有2004年国际林业研究中心的财政支持，人类可能还要在黑暗中摸索好几年。

在韩丁获得财政支持后不久，他做的第一件事就是改变拱门。

两千多年前，三六改名换姓，取名“汉高祖”。鉴于“神经网络”的坏名声，韩丁把它的名字和姓氏改为“深度学习”。

韩丁的同事们会不时听到他在办公室里突然大喊:“我知道人脑是怎么工作的！”。

三

2006年，辛顿和他的合作者发表了一篇题为“深度信念网的快速算法”的论文。

本文中，辛顿的算法核心是借用统计力学中“玻尔兹曼分布”的概念(一个粒子在某一状态下的概率与该状态下的能量指数成反比，与它的温度倒数指数成反比)，并利用所谓的“受限玻尔兹曼机”(rbm)来学习。

Rbm引入了统计力学中常用的概率工具。在20世纪70年代，概率和不确定性正是主流人工智能研究者所厌恶的。

Rbm相当于一个两层网络，同一层的神经元不能连接(即所谓的“限制”)，可以实现对神经网络的无监督训练。置信网络是多层径向基函数的叠加。

由于省略了技术细节，径向基函数可以从输入数据中进行预训练，自己找到重要特征，并有效地初始化神经网络连接的权重。这属于一种称为特征提取器的神经网络，也称为自动编码器。

经过RBF预训练和初始化后，用反向传播算法对神经网络进行微调，效果更好。

韩丁后来指出，深度学习的突破，除了大幅增加计算蛮力，也是智能有效地初始化网络链接权重的重要原因。

在辛顿的论文中，在对60，000个mnist数据库进行图像训练后，10，000幅测试图像的识别错误率低至1.25%。

虽然这还不足以让主流学术界改变看法，但深度学习的发展已经看到了一丝曙光。

(待续)

这篇文章由读者提交，并不代表36英寸的立场。如果转载，请注明出处

“读完这篇文章还不够吗？如果你也开始创业，希望你的项目被报道，请点击这里告诉我们！”