CVPR 2020评审结果,旷视专家浅谈学术论文rebuttal
|
(原标题:CVPR 2020评审结果,旷视南京研究院负责人浅谈学术论文rebuttal)
机器之心转载 作者:魏秀参 近日,CVPR 2020论文 review 结果放出,一些读者们是不是开始为 rebuttal 做准备了?在此文章中,旷视南京研究院负责人魏秀参博士介绍了论文 rebuttal 那些事,相信能为读者们提供全新的洞见。
学术论文是发布自己或团队最新研究进展正式且最快捷的途径,也是和同行交流想法最方便、高效的方式。当同行评议(Peer review)作为学术成果正式发布的必经之路已运行200余年 [1] 时,用正确的姿势进行 review rebuttal 便成为提高论文录用机率甚至扭转乾坤的最后一搏。 本文从「What is peer review?」、「How to rebuttal?」及「Does rebuttal matter?」三部分来聊聊学术论文(主要针对人工智能领域会议和期刊)rebuttal 的那些事。 What is peer review? 要想写好 rebuttal,必然要先了解 peer review 是怎么一回事。
「Peer review」趣图(原图来自网络)。 Peer review 是一种学术成果审查程序,即作者的学术著作或 proposal 被同一领域的其他专家学者评审,并根据评审意见决定是否予以录用(Accept)和后续正式发表(Publish)。对于计算机学科特别是人工智能领域的学术会议和期刊,其均有相对成熟和流程化的同行评议(即审稿)机制。 会议审稿 对于会议审稿流程而言,由于会议论文往往有比较严格的截止日期(Deadline),作者们通常会根据这一时间来 rush 自己的 paper(关于论文写作的一些 tips 请戳笔者早年的《LaTeX 写作新手须知》),所谓「Deadline 就是第一生产力!」。待 deadline 一过,大会的程序委员会主席(Program Committee Chair 或 Program Chair)首先会剔除一批不符合会议投稿政策的论文,如:篇幅不合要求、一稿多投、未匿名、未注明 Conflict Domain 等,这些论文会直接作「Desk Reject」处理。处理之后的投稿(Submission)便为有效投稿。 这些稿件会由 PC Chair 根据一定规则(如 TPMS[2] 或 bidding[3])分配给高级程序委员会委员(Senior PC,IJCAI/AAAI 一般是这个叫法)或领域主席(Area Chair,CVPR/ICCV/ECCV 一般用此称谓),这些人便是论文最终命运的判决者,也是在审稿最后时刻书写 meta review 的 meta reviewer——一般会由领域内颇有建树、有判断力的专家学者担任。而后,这些 meta reviewer 会继续分配稿件给到实际操刀审稿、给出具体审稿意见的审稿人(Reviewer)。 对于 CVPR/ICCV/ECCV 等 CV 领域会议,近几年每个 AC 负责的文章大约在30-50篇左右,而普通审稿人分配的稿件一般不超过10篇/人。以 CVPR 2019为例,针对5160篇有效投稿,全球共召集了132位 AC 和2887位审稿人 [4],一共提交了超过15000条审稿意见,做到了平均一篇文章至少3条,其中一篇文章甚至有7条审稿意见之多。 在 reviewer 各自独立提交审稿意见并经由 AC 检查质量之后,绝大多数会议会将首轮意见开放给作者(目前 Data Mining 领域的 KDD、ICDM 等仍保持不设 rebuttal 环节的传统),作者可根据意见内容进行 rebuttal 来更正审稿人理解的错误、解释/澄清审稿人的疑虑、提供更多方法和实验细节等信息。在收回作者 rebuttal 之后,同一篇文章的首轮意见、作者 rebuttal 信息均会开放给所有审稿人和责任 AC,进入 paper discussion 环节。 Discussion 时,AC 会主持每篇文章的讨论,每位审稿人根据其他审稿人意见和作者 rebuttal 会留言给其他审稿人。经过几天系统线上讨论,所有审稿人需更新自己最终意见。更新的意见以及整个讨论过程,再加上 AC 自己的判断会作为 AC 给予每篇论文生杀予夺的重要依据:若多数审稿人在 rebuttal 后提高了论文得分或保持 accept 认为可以接收,则文章有较大概率可被录用;若多数审稿人在 rebuttal 后降分或保持 reject,则这篇文章命运便岌岌可危。可以看到,rebuttal 在整个论文录用过程中起到了举足轻重的作用——优秀的 rebuttal 能力挽狂澜;无力的 rebuttal 则于事无补甚至会画蛇添足、过犹不及。 特别的,CV 领域的会议如 CVPR/ICCV/ECCV 等在 AC 给予最终决定时,有开线下 AC meeting 的传统,即在 paper discussion 之后会选在某个城市线下召集所有 AC 共同决定了投稿的最终命运。一般而言,一篇文章是否录用由三位(有时两位)没有 conflict domain 的 AC 共同决定,称作「AC Triplet」。到此,每篇会议论文最终结果(录用与否以及 oral、poster、spotlight)便盖棺定论,等待着 PC Chair 公布给如坐针毡的作者们。 期刊审稿 与会议论文相似,期刊论文也是由其他研究者进行同行评议之后决定是否予以录用。不过期刊审稿由于没有 deadline(期刊的 special issue 除外),通常不会在较短时间集中接收到的非常多稿件。一般而言,接收到的稿件会由期刊主编(Editor-in-Chief)分配给副主编(Associate Editor),之后副主编会聘请一些相关的研究者作为审稿人进行评审,有时副主编本身也会负责论文的评审意见和推荐等工作。而最终决定论文是否录用的仍然是期刊主编。 与会议论文不同的是,正是由于没有明确的 deadline,期刊审稿意见的「出炉」时间往往极不确定且普遍周期较长(3-8个月不等),第一轮评审之后审稿人一般会给出如下四种推荐意见之一:1)接收(Accept);2)接收但需要微幅修改(Accept with a minor revision);3)接收但需要大幅修改(Accept with a major revision,有些期刊如 TNNLS 则称作 Reject & Resubmit);4)拒稿(Reject)。之后,副主编会根据若干审稿人的结果综合评定给出 meta review,若 meta review 意见为2)和3)中其一,作者便需要准备一个详尽的 revision list 来对每位审稿人的意见逐条进行 response 和 rebuttal,同时还需要提供修改过的文章供审稿人进行下一轮评审。 (编辑:52刷机网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |



