告别2019：属于深度学习的十年，我们必须知道的经典
|
（原标题：告别2019：属于深度学习的十年，那些我们必须知道的经典） 我们正式告别了上一个十年。 在这十年中，伴随着计算能力和大数据方面的发展，深度学习已经攻克了许多曾经让我们感到棘手的问题，尤其是计算机视觉和自然语言处理方面。此外，深度学习技术也越来越多地走进我们的生活，变得无处不在。 这篇文章总结了过去十年中在深度学习领域具有影响力的论文，从 ReLU、AlexNet、GAN 到 Transformer、BERT 等。每一年还有很多荣誉提名，包括了众多名声在外的研究成果。 2011年：激活函数 ReLU 《Deep Sparse Rectifier Neural Networks（ReLU）》 论文链接：（被引用量4071）
早期的神经网络大多使用 sigmoid 激活函数。虽然它具有很好的效果，但是，随着层数的增加，这种激活函数使得梯度很容易出现衰减。在 2011 年的这篇论文中，ReLU 被正式提出。它能够帮助解决梯度消失的问题，为神经网络增加深度铺路。
当然，ReLU 也有一些缺点。在函数为 0 的时候不可微，而神经元可能会「死亡」。在 2011 年之后，很多针对 ReLU 的改进也被提了出来。 年度荣誉提名：（这一年的大部分研究集中于对激活函数的改进） 1、《Rectifier Nonlinearities Improve Neural Network Acoustic Models（Leaky ReLU）》 基于对 ReLU 进行了改进的激活函数，在 x 为负时不取 0。 论文链接：https://ai.stanford.edu/~amaas/papers/relu_hybrid_icml2013_final.pdf 2、《Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs)》 论文链接：https://arxiv.org/abs/1511.07289 3、《Self-Normalizing Neural Networks（SELUs）》 论文链接：https://arxiv.org/abs/1706.02515 4、《Gaussian Error Linear Units (GELUs)》 这一激活函数已证明比 ReLU 效果更好，BERT 等模型已使用。 论文链接：https://arxiv.org/abs/1606.08415 2012 年：掀起深度学习浪潮的 AlexNet 《ImageNet Classification with Deep Convolutional Neural Networks（AlexNet）》 论文链接：https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks（被引用量 52025）
AlexNet 架构。 AlexNet 经常被认为是这一波人工智能浪潮的起点，该网络在 ImageNet 挑战赛中的错误率与前一届冠军相比减小了 10% 以上，比亚军高出 10.8 个百分点。AlexNet 是由多伦多大学 SuperVision 组设计的，由 Alex Krizhevsky, Geoffrey Hinton 和 Ilya Sutskever 组成。 AlexNet 是一个 8 层的卷积神经网络，使用 ReLU 激活函数，总共有 6 千万参数量。AlexNet 的最大贡献在于证明了深度学习的能力。它也是第一个使用并行计算和 GPU 进行加速的网络。 在 ImageNet 上，AlexNet 取得了很好的表现。它将识别错误率从 26.2% 降到了 15.3%。显著的性能提升吸引了业界关注深度学习，使得 AlexNet 成为了现在这一领域引用最多的论文。 年度荣誉提名： 1、《ImageNet: A Large-Scale Hierarchical Image Database（ImageNet）》 ImageNet 是斯坦福大学李飞飞等人完成的一个用于图像识别的数据集，是计算机视觉领域检验模型性能的基准数据集。 论文链接：
2、《Flexible, High Performance Convolutional Neural Networks for Image Classification（Jurgen Schmidhuber 为通讯作者）》 论文链接：~juergen/ijcai2011.pdf 3、《Gradient-Based Learning Applied to Document Recognition》 论文链接： 2013 年：NLP 的经典 word2vec，开启深度强化学习时代 《Distributed Representations of Words and Phrases and their Compositionality（word2vec）》 论文链接：https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf（被引用量 16923） Word2vec 是由谷歌研究团队里 Thomas Mikolov 等人提出的模型，该模型能从非常大的数据集中计算出用以表示词的连续型向量。word2vec 成为了 NLP 领域的深度学习主要的文本编码方式。它基于在相同语境中同时出现词具有相似含义的思路，使文本可以被嵌入为向量，并用于其他下游任务。 年度荣誉提名： 1、《GloVe: Global Vectors for Word Representation》 论文链接：https://nlp.stanford.edu/pubs/glove.pdf 2、《Playing Atari with Deep Reinforcement Learning》 论文链接：https://www.cs.toronto.edu/~vmnih/docs/dqn.pdf（被引用量 3251）
DeepMind 的 DQN 模型玩雅达利游戏 DeepMind 在这一年提出的用 DQN 玩雅达利游戏开启了深度强化学习研究的大门。强化学习过去大多数情况下用在低维环境中，很难在更复杂的环境中使用。雅达利游戏是第一个强化学习在高维环境中的应用。这一研究提出了 Deep Q-learning 算法，使用了一个基于价值的奖励函数。 年度荣誉提名： 1、《Learning from Delayed Rewards（Q-Learning）》 论文链接：~chrisw/new_thesis.pdf 2014 年：GAN；Adam；Attention 机制 《Generative Adversarial Networks》 论文链接：https://papers.nips.cc/paper/5423-generative-adversarial-nets（被引用量 13917） （编辑：52刷机网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
