AI领域最具影响力的论文是？超过Bengio和LeCun的被引记录

（原标题：谁写出了AI领域最具影响力的论文？这两位德国学者打破了Bengio和LeCun的年度被引记录）

作为「LSTM 之父」的 Jürgen Schmidhuber 虽然没有获得图灵奖（也因乖张的行为不受待见），但他在领域的贡献仍然获得了整个社区的「被动认可」。

最近几天，有人通过 Google Scholar 的统计发现：Hochreiter 和 Schmidhuber 1997 年发表的 LSTM 论文成为了20世纪被引最高的研究论文。

截至今日，这篇论文的被引用量已经达到 26166，超过了 Hinton 1985 年发表的反向传播相关论文（《Learning internal representations by error propagation》）。

出人预料的排名变化是在最近发生的，LSTM 论文在 2019 年的年度引用量高达 9752 次，高于此前 Bengio、LeCun 等人年度被引最高的 CNN 相关论文（《Gradient-based learning applied to document recognition》）。

20 世纪 DL 最高被引论文易主

其实在此之前，20世纪领域被引量最高的论文一直是图灵奖得主 Geoffrey Hinton 的「反向传播」相关论文，其累计引用量达到了 64757。但值得注意的是，该引用量是标了星号的（如下图所示）。

该星号表示，这个数字代表的不是单篇论文引用量，而是几篇论文的综合引用量。包括：

Learning internal representations by error propagation. DE Rumelhart, GE Hinton, RJ Williams, California Univ San Diego La Jolla, Inst for Cognitive Science, 1985 (被引 25k)

Parallel distributed processing. JL McClelland, DE Rumelhart, PDP Research Group, MIT press, 1987 (被引 24k)

Learning representations by back-propagating errors. DE Rumelhart, GE Hinton, RJ Williams, Nature 323 (6088), 533-536, 1986 被引 (20k)

……

因此，上图中 Hinton 被引最高的论文《Learning internal representations by error propagation》的单篇引用量应该为 25398，略低于 Schmidhuber 的上述论文。

除此之前，Schmidhuber 的上述论文在年度引用量上也拔得头筹（9752），超过了上述「反向传播」三篇论文的总和（3574+461+3181），也高于之前年度被引最高的 CNN 相关论文（6301）。

Schmiduber LSTM 论文年度被引用量。

Bengio、Lecun 等人 CNN 相关论文年度被引用量。

经典论文——LSTM

LSTM 的全称是（Long-Short Term Memory），是具有长期记忆能力的一种 (Recurrent Neural Network)，其网络结构含有一个或多个具有遗忘和记忆功能的单元。由于独特的设计结构，LSTM 适合于处理和预测时间序列中间隔和延迟非常长的重要事件。

该论文首次发表于 1997 年。由德国慕尼黑工业大学的计算机科学家与 Jürgen Schmidhuber（现任瑞士 Dalle Molle 研究所的联合主任）共同完成。

论文链接：?doi=10.1.1.676.4320&rep=rep1&type=pdf

在提出时，LSTM 被用于解决传统 RNN 在随时间反向传播中消失的问题（vanishing gradient problem over backpropagation-through-time)，重要组成部分包括 Forget Gate、Input Gate 和 Output Gate, 分别负责决定当前输入是否被采纳，是否被长期记忆以及决定在记忆中的输入是否在当前被输出。

LSTM 网络由重复结构的 LSTM 单元组成，与 RNN 不同之处在于，重复的单元有四层特殊的结构（RNN 只有一层）。

LSTM 论文中的简单模型示意图（8 个输入单元、4 个输出单元和两个存储单元），被视为领域的经典。

LSTM 的表现通常比及隐马尔科夫模型（HMM）更好，比如用在不分段连续手写识别上。2009 年，用 LSTM 构建的人工模型赢得过 ICDAR 手写识别比赛冠军。LSTM 还普遍用于自主，2013 年运用 TIMIT 自然演讲达成 17.7% 错误率的纪录。作为非线性模型，LSTM 可作为复杂的非线性单元用于构造更大型。

21 世纪 DL 最高被引论文

时间进入 21 世纪，/领域再次兴起。在新的阶段，有三篇经典论文被人们引用的数量远超其他。

有趣的是，它们都是有关在大规模图像数据集 ImageNet 之中的应用，这在一个侧面说明了方向的火热程度。其中一篇论文介绍了一种快速的、基于 CUDA 的深度卷积——它就是 AlexNet，这一方法赢得了 2012 年的 ImageNet 竞赛。另一篇论文则是 ImageNet 2014 年冠军的获得者：

A Krizhevsky、I Sutskever, GE Hinton《Imagenet classification with deep convolutional neural networks》NeuerIPS 2012 (被引次数 53,000)

B. K Simonyan、A Zisserman《Very deep convolutional networks for large-scale image recognition》arXiv:1409.1556, 2014 (被引次数 32,000)

（编辑：52刷机网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!