机器之心报导
参加:张倩、蛋酱
投稿被拒是一件十分令人懊丧的工作,但过来人一般会这样劝你:「不要紧,改改再投其他家就好了。」这种「斐波那契」投稿法可谓风行学界。
但 IJCAI 本年的投稿规则好像给拒稿重投添加了不小的难度,要求投稿者有必要声明这是被拒过的论文,并且要有实质性改善,隐秘「拒稿重投」者将面对直接被拒的危险。
拒稿重投,发现 IJCAI 变了
「咱们在 AAAI2020 的投稿被拒了,3 个评定者中的一个给了回绝。咱们觉得这篇论文被拒是因为那位审稿人没有花时刻好好读论文。所以,咱们决定将这篇论文投给 IJCAI,但阅览投稿须知的时分咱们才发现,本年的规则发生了很大改变……」
这段叙说来自一位用户名为 schludy 的网友,他在转投 IJCAI 的时分发现,IJCAI 关于拒稿重投的规则变严了。
那么详细有什么改变呢?咱们先来看一下 2019 年的规则。
在 IJCAI 的「Call for Papers」板块,咱们发现了 IJCAI 关于 AAAI 2019 拒稿重投的规则。
文件规则:被 AAAI-19 回绝的论文在经实质性修正之后可以提交给 IJCAI-19。提交的论文可以(can)附上以下文件:一份阐明信(阐明修正版怎么处理 AAAI-19 评定者给出的评定定见)、一份 AAAI-2019 版别的论文以及一份完好的 AAAI-19 评定定见。这些资料将作为弥补资料提交。阐明信将作为 IJCAI-19 评定流程中的参阅定见。
而到了 IJCAI 2020,咱们发现投稿规则的遣词和内容发生了一些改变。新的文件规则:被 AAAI 2020、ECAI 2020、AAMAS 2020、ICCV 2020 或 ICAPS 2020 回绝的论文在经过实质性改善之后可以从头提交给 IJCAI-PRICAI 2020,但作者有必要(must)声明这是拒稿重投,并且要附上阐明信。阐明信要解说被拒的根本原因以及作者针对评定定见所做的改善。阐明信要连同之前的评定定见和被拒的稿件一同提交。
更重要的是,假如作者不事前声明这是拒稿重投,论文或许面对直接被拒的危险。
与 IJCAI 2019 比较,咱们发现本年的投稿规则更严了。假如要拒稿重投就有必要事前声明,还要指出做了哪些严重修正,这正是上文中的 reddit 网友所面对的问题。
ta 标明,他们没有对论文中的办法做出任何修正,只是改善了解说并在成果中加了个小小的表格。审稿人会看到之前的评定定见吗?论文会不会分到之前的审稿人手里?为什么 IJCAI-2019 不在新规的列表里?投稿要再等一年吗?这些都是 ta 心里的疑问。
有人理解为:
「这样规则的意思不是让人再等一年,而是确保从头提交的论文内容现已依据之前的评定定见仔细修正过了。」
还有人说:「没错,大会之间常常协作互通来查看提交的论文。所以审稿人或许会看到这篇文章之前的评定定见,假如没供给,或许直接就被拒了……」
「至所以否会前后两次分配给同一个审稿人,依据随机性来说应该概率不大。这次规则的改变只是是为了可以更好的确保那些被回绝的论文不会毫无改变地又从头提交一次。」
投稿规则越来越严的顶会
2016 年以来,深度学习开展迅猛,许多顶会似乎都陷入了一种窘境:投稿量添加审稿工作量激增审稿人手不足评定质量下降。每次放榜,审稿人都难逃被吐槽的命运,顶会也被吐槽越来越水。
假如咱们重视近两年来顶会的动态,看到最多的便是「投稿量激增」和「审稿质量下降」这两个论题。
ICLR 2020 审稿成果放出后,有开发者给出了一个计算成果:「本次大会近对折审稿人没有在相关范畴发过论文。」投稿者感觉自己「糟蹋爱情」,审稿人又觉得「我太难了」。
相似的工作还有 CVPR 2020。
2019 年 11 月,CVPR 2020 投稿截止时,投稿论文 ID 数量已破万。
有人经过回归模型来猜测 CVPR 的论文投稿量走势,从现在的爆破式添加趋势来看,到了 2022 年,CVPR 的投稿量或许要破 3 万……
终究都指向一个成果,顶会看起来不再像是顶会。或许正是因为此类原因,一些会议在学术圈的口碑正在渐渐下滑。
比如在最新版的《清华大学计算机学科引荐学术会议和期刊列表》中,IJCAI 现已从人工智能与模式识别方向 A 类学术会议「降级」到 B 类的学术会议。
清华大学新版 AI 顶会中的 17 个 B 类会议,其间就有从 A 类降级为 B 类的 IJCAI。
为了从根本上处理问题,各大顶会纷繁采纳办法,经过各种办法下降审稿人担负,包含约束每个人的投稿数、制止一稿多投、进步拒稿重投门槛等。
约束每个人的投稿数
约束投稿数在 IJCAI 大会中体现得最为显着。本年的新规标明,每位作者的投稿数不能超越 6 篇,而上一年的规则是不超越 10 篇。
除了 IJCAI,其他大会也对投稿数进行了约束,如 AAAI 2020 规则每位作者最多提交 15 篇论文。
但这一做法未必见效,依据 NeurIPS 的试验,假如将投稿量上限设置为 15 篇,只能削减不到 100 份投稿。关于一个投稿量数千的大会来说,这点奉献可谓无济于事。
制止「一稿多投」
制止「一稿多投」也是大会为了操控投稿量采纳的一项办法。近几年,NeurIPS、ICLM 都发布了制止一稿多投的规则。
上一年 7 月,在 NeurIPS 2019 的论文评定成果放出之时,大会官方就发布了布告,称 19 篇论文因「一稿多投」而被拒之门外。
为了削减一稿多投的现象,NeurIPS 2019 宣告与其他人工智能学术会议协作,协作会议与 NeurIPS 存在主题范畴和评定时刻上的穿插。
此外,大会主席期望避免论文作者使用系统漏洞的妄图,经过一稿多投来添加被接纳的时机。尽管从几千篇论文分拣出那些一稿多投的论文,的确会添加许多额定的工作量。但为了可以更好的确保大会内容的原创性和新颖性,这项行动很有必要。
除了上述办法之外,NeurIPS 还在上一年的大会中测试了其他几种削减审稿人担负的办法,如审稿之前,先让范畴主席挑选掉最差的一批论文;只审招引审稿人注意力的论文等,但两种做法也都存在一些问题:前者删选出的论文数量十分有限,后者简单疏忽一些有价值的论文。
现在,各大顶会还在探究操控投稿量的新办法,这关于坚持顶会权威性、避免顶会坍塌有着很重要的含义。但关于面对发论文压力的各位来说,发顶会论文也是越来越难了。
参阅链接:
https:///r/MachineLearning/comments/eme7u3/d_ijcai_2020_changes_in_rules_for_resubmissions/
https://www.ijcai19.org/call-for-papers.html
https://www.ijcai20.org/call-for-papers.html