下一层神经元“可能会发现更加复杂的结构，如形成圆圈的多条边。”这一层的神经元可能会响应鸟的头部。更高层的神经元可能会检测到似头的圆圈附近并列的多 个鸟嘴状角。“这说明它很可能是鸟头。”辛顿说。神经元层次越高，响应的概念就越复杂越抽象，直至最高层联想到“小鸟”的概念。
然而，要学习，深度神经网络不仅仅需要像这样往上层神经元传递信息。它还需要路径来判断最高层得出的结果是否正确，如果结果不正确，它得将信息往下传递，让所有类神经元单元能够重新调整它们的判断，以改进结果。学习过程就是这个时候发生。
1980年代初，辛顿在研究这一问题。法国研究者雅恩·乐昆亦然，他当时刚刚开始在巴黎攻读研究生。乐昆在1983年偶然看到了辛顿的一篇讲述多层神经网络的论文。“论文当时并不是用那些术语来阐述的。”乐昆回忆道，“因为当时如果你提到‘神经元’或者‘神经网络’之类的词，论文是很难发表出去的。因此他用模糊的语言来撰写那篇论文，使得它能够通过审核。不过我觉得它非常有趣。”两人在两年后相识，一拍即合。
算法解决方案
1986年，辛顿和他的两名同事共同撰写了一篇很有创意的论文，提出通过算法解决方案来解决纠正问题。“他的论文可以说是第二波神经网络热潮的基石。”乐昆说。它点燃了研究者对该领域的兴趣。
乐昆曾在多伦多大学担任辛顿的博士后研究助理，后来于1988年前往AT&T旗下的贝尔实验室工作。在此后的10年里，他开发出了时至今日仍为许多图像识别任务使用的基础技术。1990年代，贝尔实验室旗下子公司NCB商品化了一款由神经网络驱动的设备。据乐昆称，该设备被银行广泛采用，它能够识别支票上的手写数字。与此同时，两位德国研究人员塞普·霍克赖特（Sepp Hochreiter）和约根·施米德胡贝（Jürgen Schmidhuber）独立开创了另一种算法，那种算法如今已经成为了自然语言处理应用的重要组成部分。
（责任编辑:tysd001）
