2019年十大精彩AI学术论文盘点

推荐理由：这篇论文要解决的任务「从单个摄像头估计运动物体的深度」乍看上去是无法完成的。这篇论文用了很巧妙的方法，一方面，作者们把 YouTube 上用户们自己上传的「时间静止」视频作为数据集，它们提供了海量的、天然的、带有人物的三维空间回放，经过传统方法还原之后就可以作为标注数据，免去了采集之苦。这实际上提醒我们，除了用传统众包方法专门收集数据集之外，网络上还有许多公开数据经过处理以后也可以成为很有价值的训练数据集。

另一方面，在用深度模型学习空间常识、学习预测深度的同时，作者们还增加了额外的结构让网络能够提取临近的帧之间的变化信息，提高了网络处理运动物体的能力。最终效果是，只需要单个摄像头视角的输入，模型就可以输出稳定、高准确率的三维深度预测，对于运动的物体也有很好效果。这篇论文也获得了 CVPR 2019 最佳论文荣誉提名奖。

论文地址：https://arxiv.org/abs/1904.11111

详细介绍：https://www.leiphone.com/news/201905/comu6TnFl5ejaAG1.html

代码开源：https://github.com/google/mannequinchallenge

5.The Lottery Ticket Hypothesis：Finding Sparse, Trainable Neural Networks ( ICLR 2019 )

彩票假说：找到稀疏、可训练的神经网络

作者：MIT 计算机科学与人工智能实验室 Jonathan Frankle, Michael Carbin

推荐理由：作为缩小网络体积、降低运算资源需求的技术路线，网络稀疏化和知识蒸馏一起得到了越来越多的关注。目前最常用的稀疏化方法是先训练一个大网络然后剪枝，稀疏的网络也可以得到和稠密网络差不多的性能。

既然稀疏的网络可以有和稠密网络差不多的性能，这篇论文里作者们就提出一个大胆的假设，看作是想要的稀疏网络本来就在稠密网络里，我们只需要把它找出来就可以 —— 更具体地，如果从随机初始化的网络随机做 n 次迭代可以得到训练好的稠密网络，从随机初始化的网络里做类似数目的迭代也可以找到表现差不多的稀疏网络。只不过，找到那个稀疏网络非常依赖好的初始值，而想在随机出好的初始值简直就像抽彩票。这就是论文核心的「彩票假说」。

作者们设计了算法确认「是否抽到了好的号码」，也用一系列实验验证了假说、展示了好的初始值的重要性。甚至，从好的初始值出发得到的稀疏网络可以得到比稠密网络更好的表现。这篇论文获得了 ICLR 2019 的最佳论文奖。

大胆的「彩票假说」立刻引发了激烈讨论。作者们做了后续研究发表了 Stabilizing the Lottery Ticket Hypothesis（arxiv.org/abs/1903.01611）；Uber AI 实验室发表了一篇论文 Deconstructing Lottery Tickets: Zeros, Signs, and the Supermask（arxiv.org/abs/1905.01067）介绍了他们对这个现象的深入探究结果，揭示了「彩票假说」在碰运气之外的合理性；论文 Sparse Networks from Scratch: Faster Training without Losing Performance（arxiv.org/abs/1907.04840）也紧接着提出「彩票假设」之类的稀疏网络生成方式计算代价太高，他们的新方法可以直接从稀疏的网络结构开始训练，对计算资源需求更少、训练更快，并达到和稠密网络相近的表现；FB 田渊栋组也发表了 One ticket to win them all: generalizing lottery ticket initializations across datasets and optimizers（arxiv.org/abs/1906.02773）并被 NeurIPS 2019 接收。

论文地址：https://arxiv.org/abs/1803.03635

详细介绍：https://www.leiphone.com/news/201905/ZwDWnaSGZHDveLiO.html

代码开源：https://github.com/google-research/lottery-ticket-hypothesis

6.On the Variance of the Adaptive Learning Rate and Beyond

关于自适应学习率的变化以及更多

作者：UIUC Liyuan Liu、韩家炜，微软研究院 高剑峰 等

推荐理由：这篇来自韩家炜团队的论文研究了深度学习中的变差管理。在神经网络的训练中，Adam、RMSProp 等为了提升效果而加入了自适应动量的优化器都需要一个预热阶段，不然在训练刚刚启动的时候就很容易陷入不好的、可能有问题的局部最优，而这篇论文中提出的 RAdam 能为优化器提供好的初始值。借助一个动态整流器，RAdam 可以根据变差大小来调整 Adam 优化器中的自适应动量，并且可以提供一个高效的自动预热过程；这些都可以针对当前的数据集运行，从而为深度神经网络的训练提供一个扎实的开头。

同一时期还有另一篇研究改进优化过程的论文《LookAhead optimizer: k steps forward, 1 step back》（arxiv.org/abs/1907.08610），它的核心思路是维持两套权重，并在两者之间进行内插，可以说是，它允许更快的那一组权重「向前看」（也就是探索），同时更慢的那一组权重可以留在后面，带来更好的长期稳定性。这种做法带来的效果就是降低了训练过程中的变差，就「减少了超参数调节的工作量」，同时「在许多不同的深度学习任务中都有更快的收敛速度、最小的计算开销」（根据论文作者自己的介绍）。

这两篇论文不仅都对神经网络的优化过程提出了有效改进，而且两者还可以共同使用。这些成果都既增进了我们对神经网络损失空间的理解，还是非常有效的工具。

论文地址：https://arxiv.org/abs/1908.03265

代码开源：https://github.com/LiyuanLucasLiu/RAdam（RAdam），https://github.com/lonePatient/lookahead_pytorch/blob/master/（LookAhead）

详细介绍：RAdam 和 LookAhead 可以合二为一 https://www.leiphone.com/news/201908/SAFF4ESD8CCXaCxM.html

7.Reasoning-RCNN: Unifying Adaptive Global Reasoning Into Large-Scale Object Detection ( CVPR 2019 )

Reasoning-RCNN: 在大规模目标检测中应用统一的自适应全局推理

作者：华为诺亚方舟实验室，中山大学

（编辑：52刷机网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!