顶会论文，怎么就成了申博的必要条件？

一些审稿人要求我们在提交的论文中做到 NALU 论文声称可以做到的所有事情（即使我们已经提供了明确的证据来说明 NALU 模型并没有将这些事情做到令人满意的程度）。如果你看过这篇论文，我们没有解决的是除法，以及加法和乘法之间的门控。尽管如此，我们也对其它方面进行了改进。

其实，第二点也可以归结为一些审稿人不相信我们的实验结果和复现。这就是我们在改进别人夸大的实验结果时可能遇到的难题。

审稿人更偏向支持已经发布的研究成果。与批判之前发表过的论文相比（尤其是当这些论文出自 DeepMind 之手），他们更容易对你新提交的论文持批判性态度。

我想澄清的是，DeepMind 在论文「NALU」最后给出的结果并不是假的，它们是可以复现的。但这样的结果对于「外推任务」来说，却并非以最合适的方式去构建的，该任务是主要的目标，它使模型能够比第一次和第二次通读的时候看起来更好（你需要更加仔细地阅读实验结果）。而且，NALU 这篇论文只展示了具有单个种子（seed）的结果，而我们的论文展示的是具有 100 个种子时的结果。关于个话题我们发表了一篇 workshop 论文「Measuring Arithmetic Extrapolation Performance」（论文地址：https://arxiv.org/abs/1910.01888）。

这次提交给 ICLR 的论文有什么不同的地方？

在对 NeurIPS 2019 的审稿意见进行反驳之前，我们已经对论文进行了一些改进。在提交给 ICLR 的版本中，我们补充了更多的证据和实验去支持我们的观点。

我们做了一件非常明智的事！我们把自己完成的 NALU 的实验设置和复现结果发表在NeurlIPS 2019 的 SEDL 研讨会上。我们还将这项工作写在了推特上，发布了 NALU 一作的标签，他回复道：「很棒的工作！有了好的对比基准，我们才能继续改进模型」。这对我们来说很有帮助，我们不必再为实验设置和我们的新模型而争论了。相反，我们可以专注于我们提出的模型。

图 7：要在神经网络上实现数学上的外推十分困难。我们提出了一种新的对比基准，并发现 NALU 十分脆弱。那么我们如何构建可以学习算术方法的神经网络呢？仅仅使用更多的数据并不能做到这一点。

我其实很希望我能告诉你，我们的改进起了很大作用，但事实是，我觉得我们只是比较走运，遇到了一位超棒的审稿人。由于评论是公开的，他在 OpenReview 上对我们工作的评论引起了更广泛的讨论、更深入的批判性思考以及更少的谩骂性评论。

值得一提的是，我们收到了四份审稿意见，我认为，这意味着我们的领域主席对此非常感兴趣。其中一位评审在 NeurIPS 上也审阅过我们的论文（可能是那时的 reviewer #3），同时他在 NeurIPS 上给出的审稿意见也是最具建设性的。

在我们做出这一系列的修改后，这位审稿人的意见从 NeurIPS 的弱拒改为了 ICLR 的弱接收，在 ICLR 的终审意见中又改成了接收，他甚至还对其他审稿人的意见评论道，「这篇文章中体现的贡献进步巨大」。

这审稿人的意见如下：

我理解其它审稿人所关心的问题，本文给出的模型是在其它模型上进行增量式修改得到的。但我并不认为本文的优点仅仅在于模型本身，而是在于全文中体现的而理论和实验分析，从而提升了模型的性能，而且本文的代码也公开了。

这篇文章可读性很强，它尝试针对最近提出的模型做一些工作，它指出了他人提出的模型的缺陷，并给出了详细的分析过程，然后改进了该模型以及对比基准。本文直面了原模型的复现问题，并对其进行了大幅度的改进。这就是为什么我认为这篇论文一定要被接受的原因。

我不确定这里提出的模型是否会在该领域引起巨大的改变，但是这种方法可能会影响并启发其他研究者做出更加透彻的分析。

因此，我将对这篇论文的评分提升到「接收」。

这条审稿意见让我十分开心。那时，我们的论文还有两个弱拒，所以仍然存在被拒稿的可能性。但即使被拒绝，我至少也会觉得我并没有失败，而是审稿程序有缺陷。

这一切努力值得吗？

（编辑：52刷机网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!