顶会论文，怎么就成了申博的必要条件？

这个项目简直就是为我量身定制的！此前，我做过大量的可视化工作，参与了与 Node.js 内部实现相关的工作长达 6 年的时间，并且刚刚取得了机器学习硕士学位。所以，我在这个项目中获得了丰厚的报酬。如果我能将自己的开支消费控制在非常低水平，这份报酬足以支持我进行 3 到 4 年的研究。

可以说在资金方面，我非常幸运。但是，丹麦是一个消费水平很高的国家，或许在另外的国家资助自己完成研究会更加容易。

2019 年，他们也曾邀请我为其在 NodeConf EU 2019 上推出的物联网智能手表/胸牌开发 TensorFlow 组件。虽然这笔收入不足以支撑我全年的所有开支，但也对我帮助很大。

图 3：本文作者开发的智能手表设备

好的研究思路从何而来？

正如我所说，可以有很多种方法发掘研究思路，所以不要太在意我的说法，要充分发挥你自己的创造性。

2019 年 2 月，我回到母校参加了一个人工智能学生社团的开幕式活动，希望与之前的导师谈谈申请博士的事情。但遗憾的是，他也无法为我提供任何的入学机会。

然而，我却遇到了 Alexander R Johansen，他是一位助理研究员，想要寻找合作伙伴。2019 年 3 月下旬，我写信给他，他告诉我他的几名学生尝试复现 DeepMind 的论文「NALU」，但都以失败告终。所以，他问我是否愿意对此进行研究，也许我们可以由此写出一篇 NeurIPS 论文。

我的硕士学位论文和在 Distill 上发表的论文都是对其他人夸大或具有误导性的作品进行批判性思考，然后改进这些工作。而且这项研究的难点在于优化，而我对此却很擅长。所以，我觉得自己可以胜任这项任务。

几乎所有发表的论文都会对其性能进行夸大，所以改进他人的工作是一种可行的研究策略。

我的建议就是如此。这并不是一种非常具有启发意义的寻找研究思路的策略，在这个过程中你也会遇到一些重大的挑战，但的确是一种可行的策略。

下面，我们来看看什么是最重要的！

研究之路再孤独，也不要失去理智和希望

作为一名独立研究者，你可能很难获得来自任何人的鼓励。当然，我也知道，许多博士生导师也不会鼓励他们自己的学生，但这些学生可以从处于类似困境中的同门那里寻求鼓励。而一名独立研究者想要得到这样的鼓励几乎是不可能的，这也是我建议大家不要成为独立研究者的首要原因。

作为论文的第一作者，在写论文的过程中，背后没有与你感同身受的人支持你是很难熬的。这是我建议大家不要成为独立研究者的首要原因。

每个人都多多少少需要一些鼓励。不要以为在没有任何鼓励的情况下，你自己也能撑过 7 个月。我一直在担心出现下面的情况：找不到解决方案、遭遇不公正的同行评审、得不出有用的实验结果、发现工作中存在某些重要缺陷、甚至担心即便论文发表了也会因为课题过于小众而没有影响力。

同时，自筹 7 个月的研究经费也是有很大风险的。如果最终论文没有发表，我的损失就会很大。作为一名独立研究者，我被录取的机会是低于平均水平的，这是因为我得到的反馈更少。

图 4：作为一名独立研究者发表论文，很可能是我做不到的事，我也想过会失败，但无论如何，我都会尽力做到最好。

然而，尽管可能没有与你感同身受的人支持你，但你也可以通过其它方法解决这个问题。我是这么做的：

1. 我通常每周会与 Alexander 就研究思路进行讨论。虽然 Alexander 本人并没有获得博士学位，但他具有非常棒的批判性思维。我并不认为必须和那些有很多一作论文、或者有多年论文指导经验的人交流。重要的是，我们需要和那些能针对我们的研究工作提出问题的人交流。不然的话，我们可能会变得懒惰，对自己论文中存在的错误视而不见。请尽量与别人讨论你的论文，这会给你增加很大的压力，让你不会寄希望于投机取巧。

2. 在主要的研究之外，我也进行了一些附带的项目。把所有时间都分配给同一份工作的风险太大。不妨花时间做一些你认为有用的小项目。写个开源工具、复现一篇知名论文都可以。从研究中抽身出来，放松一下也是非常有必要的。这样一来，即使研究项目失败了，但至少完成了某些小项目。对我来说，能够让这些附带的项目被知名研究者们认可也是一种莫大的鼓励。

图 5：三天完成的附带项目示例，用到这个项目的研究者会十分感谢你，从中你可以感受到鼓励。（推特大意：很高兴在此发布「pip install Ircurve」。它可以被用于绘制实时的学习曲线，而不像 TensorBoard 那样繁琐。它包含一个 Keras 帮助文件和模型无关的接口。

如何写一篇好论文？

在所有提交的论文中，大约只有 20% 会被接收，你的同行审稿人会寻找各种理由拒掉你的文章。你认为文章已经「足够好」是远远不够的，你需要让自己的论文被人赞叹道「great」！

然而，（对于独立研究者来说）你并没有任何导师能帮你，此前你也没有发表过论文，那么怎样才能写一篇令人叹为观止的论文呢？

就我而言，我的第一份论文放到了 distill.pub 期刊上。回想起来，我那时太幸运了——Distill 特别关心论文的写作质量。因为与通过同行审稿人（他们自己可能并不精通写作）的评审相比，Distill 更加强调论文能解释清楚并教育他人。对于我来说，写一篇用于解释和教育的文章，要比写一篇取悦同行评审的文章容易得多。

然而，我第一次向 Distill 投稿的时候遭到了编辑的拒稿！他们不清楚我的工作有何贡献。它到底是对 Nested LSTM 的批判，还是提出了一项新的 NLP 任务「自动补全」，或者它是一种交互式的可视化技术？

一篇论文中可能有一到两条重要的信息，如果它们被误解了，那么就会让读者感到非常困惑，从而被拒稿。所以，不要害怕反复强调某些重要信息，从而避免这些问题。

在我的 Distill 论文中，上面提到的这样的信息是：「可视化可以帮助人们理解模型，而准确率却并不能。然而，你需要使用一个任何人都能有直观感受的问题来体现这一点，显然，中文诗歌生成并不是这样的问题」。

在我的 ICLR 的论文中，这样的信息是：「异构单元之间的门控比它看上去要困难得多，但在解决门控的问题之前还有其他问题需要解决，所以我们会在未来的研究里解决门控的问题」。

仅仅这样写还不够，你还需要在整篇文章中反复表达这个观点，让即使最懒的审稿人也能看到它。

我对论文进行了重大修改，将修改稿再一次提交给了 Distill。这次，他们更加开放一些。Distill 上的 Chris Olah 和 Ludwig Schubert 在论文进入同行评审环节之前为我给出了非常有用的反馈。

如果没有从他们那里得到的经验，我不确定我是否还能被 ICLR 接收。大家可以读一下小说家 McCarthy 关于如何写科学类文章的技巧，里面涵盖了我学到的大部分经验。

文章阅读地址：https://www.nature.com/articles/d41586-019-02918-5

最后，我想告诉大家，我和 Alexander 一起花了很长时间对这篇论文进行润色，尤其是在摘要和引言部分，他的帮助非常有价值。

惨遭 NeurIPS 拒稿

我们将论文提交给了 NeurIPS 2019，但惨遭拒稿。当时我内心十分煎熬。毕竟，我付出了那么多的时间却一无所获。我感觉自己的梦碎了，我再也没有机会追求自己的梦想，不能从事我热爱的机器学习研究了。

让自己的命运掌握在匿名的同行审稿人手中是一件很奇怪的事。

图 6：我收到 NeurIPS 2019 审稿意见的感想。

那么为什么我们会被拒稿呢？我总结的经验教训是：

一些审稿人不相信我们成功地复现了 NALU 的结果（那篇我们进行了改进的论文）。很多审稿人都会问：「为什么原始论文中的结果比你们给出的结果要好很多」？

（编辑：52刷机网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!