告别2019：属于深度学习的十年，我们必须知道的经典

发布时间：2020-01-02 10:09:08 所属栏目：数据来源：网络整理

导读：告别2019：属于深度学习的十年，我们必须知道的经典

生成对抗网络（Generative Adversarial Network，简称 GAN）是 Ian Goodefellow 等人提出的非监督式学习方法，通过让两个神经网络相互博弈的方式进行学习。自 2014 年 GAN 网络提出以来，其在 Computer Vision（计算机视觉）等领域获得了广泛的关注。

生成对抗网络（GAN）的成功在于它能够生成逼真图片。这一网络通过使用生成器和判别器之间的最小最大（minimax）博弈，GAN 能够建模高纬度、复杂的数据分布。在 GAN 中，生成器用于生成假的样本，而判别器进行判断（是否为生成数据）。

年度荣誉提名：

1、《Wasserstein GAN & Improved Training of Wasserstein GANs（WGAN）》

WGAN 是 GAN 的改进版本，取得了更好的效果。

论文链接：https://arxiv.org/abs/1701.07875

2、《StyleGAN》

告别2019：属于深度学习的十年，我们必须知道的经典

StyleGAN 生成的图像

论文链接：https://arxiv.org/abs/1812.04948

3、《Neural Machine Translation by Jointly Learning to Align and Translate（attention 机制）》

论文链接：https://arxiv.org/abs/1409.0473（被引用量 9882）

告别2019：属于深度学习的十年，我们必须知道的经典

注意力的可视化结果

这篇论文介绍了注意力机制的思路。与其将所有信息压缩到一个 RNN 的隐层中，不如将整个语境保存在内存中。这使得所有的输出都能和输入对应。除了在机器翻译中使用外，attention 机制还被用于 GAN 等模型中。

《Adam: A Method for Stochastic Optimization》

论文链接：https://arxiv.org/abs/1412.6980（被引用量 34082）

Adam 由于其易微调的特性而被广泛使用。它基于对每个参数的不同学习率进行适应这种思想。虽然近来有对 Adam 性能提出质疑的论文出现，但它依然是深度学习中最受欢迎的目标函数。

年度荣誉提名：

1、《Decoupled Weight Decay Regularization》

论文地址：https://arxiv.org/abs/1711.05101

2、《RMSProp》

和 Adam 一样出名的目标函数。

论文地址 https://www.cs.toronto.edu/~tijmen/csc321/slides/lecture_slides_lec6.pdf*

2015：超越人类的 ResNet；神奇的批归一化

《Deep Residual Learning for Image Recognition》

论文链接：https://arxiv.org/abs/1512.03385(被引用量 34635)

告别2019：属于深度学习的十年，我们必须知道的经典

Residual Block 结构。

大名鼎鼎的 ResNet，从 ResNet 开始，神经网络在视觉分类任务上的性能第一次超越了人类。这一方法赢得了 ImageNet 2015、以及 COCO 竞赛的冠军，也获得了 CVPR2016 的最佳论文奖：该研究的作者是何恺明、张祥雨、任少卿和孙剑。

最初 ResNet 的设计是用来处理深层 CNN 结构中梯度消失和梯度爆炸的问题，如今 Residual Block 已经成为了几乎所有 CNN 结构中的基本构造。

这个想法很简单：将输入（input）从卷积层的每个块添加到输出（output）。残差网络之后的启示是，神经网络不应分解为更多的层数，在最不理想的情况下，其他层可以简单设置为恒等映射（identity mapping）。但在实际情况中，更深层的网络常常在训练上遇到困难。残差网络让每一层更容易学习恒等映射，并且还减少了梯度消失的问题。

尽管并不复杂，但残差网络很大程度上优于常规的 CNN 架构，尤其在应用于更深层的网络上时。

告别2019：属于深度学习的十年，我们必须知道的经典