点击下方卡片，关注“CVer”公众号
AI/CV重磅干货，第一时间送达
点击进入—>CV微信技术交流群
转载自：新智元 | 编辑：Joey
【导读】最近，一位来自洛桑联邦理工学院（École polytechnique fédérale de Lausanne (EPFL)）的女物理学家Lenka Zdeborova在推特上吐槽顶会的审稿人筛选机制，引发了众多学术圈大佬共鸣。
你以为的学术顶级会议期刊审稿人，都是来自各自领域的大牛？
事实上，你辛辛苦苦几个月做的研究论文，审稿人很有可能是一群本科生或研究生？
最近，来自洛桑联邦理工学院（École polytechnique fédérale de Lausanne (EPFL)）的女物理学家Lenka Zdeborova就在推特上吐槽顶会的审稿人机制。
研究生院的申请人就已经有顶会审稿经验？而且数量还不少。
Lenka Zdeborová是EPFL的物理学和计算机科学教授，她领导计算机学院的统计物理学科。
她是Journal of Physics A、Physical Review E、Physical Review X、SIMODS、Machine Learning: Science and Technology、Information and Inference等众多学术期刊的编委。
Lenka擅长的领域是将统计物理学的概念（例如高级平均场方法、复制方法和相关消息传递算法）应用于机器学习、信号处理、推理和优化中的问题。
一些圈内人士也表示赞同，研究生一年级的学生竟然已经可以在顶会审稿，而且没有人觉得这是个问题。
你以为的审稿人是这些学界大佬，事实上其实是他们带的本科生或研究生......
知乎答主「卡卡卡卡比」认为这种现象已经是司空见惯了，从ICLR到AAAI,审稿人的水平参差不齐，保不齐你的paper就落到了某个本科生手里。
抱怨完审稿人水平之后，关键还是要思考如何能够写出让大家make sense并且能兼顾大多人审稿taste的工作。
来源：卡卡卡卡比
另一位答主「歇斯底里i」也认为，审稿人很少懂你的领域，所以你要把论文的结果清晰明了地呈现出来，让别人看不懂就是你的问题了。
来源：歇斯底里i
顶会审稿到底怎么审
那么顶会审稿究竟怎么审？
同行评审（Peer-review）是现代科学的基石，几乎所有机器学习 (ML) 顶会（如NeurIPS、ICML、AAAI）都依靠它来决定提交的论文是否与社区相关，以及原创性是否足以在那里发表。
不幸的是，随着过去十年提交文章数量呈指数级增长，审稿质量也以同样快的速度下降。
如果您曾经向其中一个会议提交过论文，在为您认为是一个绝妙的想法而努力工作了几个月之后，您得到的是糟糕的、无用的，而且（更糟糕的是 ) 具有讽刺意味的评论意味着你将不得不重新经历一次提交过程，而没有任何关于你的论文存在什么问题的提示。
图灵奖获得者Geoffrey Hinton在2018年接受 Wired 杂志采访时给出了造成这种情况的原因之一：
知乎答主电光幻影炼金术对审稿被拒做了个假设，如果你发现你的论文因为一些概念问题审稿人没理解被给了低分，有三种可能：
你以为理想中的审稿人：
周一打开论文，看看摘要，速读一遍，评估一下novelty。周二细细看方法，挑挑毛病。周三看一下实验，看看baseline的相关论文，查对实验细节。周四开始写审稿意见，决定审稿分数。周五补充一些审稿意见，提交审稿分数。
实际审稿人：
周一上午八点打开审稿论文，读了读摘要，感觉没什么novelty。看了看图片，感觉不看正文看不明白。翻到后面看了看实验数字，感觉提升也不大。看看方法，四页好多看不完。下午还有事，给个5分走人吧。周一上午十一点半结束审稿工作。
我们再来看看ICML2022的审稿规则：
选题意义：
这部分评审的目的是向MR（Meta-reviewer）和作者展示您对这篇论文的理解程度以及您对这篇论文的看法。
写作创新性、相关性、重要性：
它们与我们的社区相关吗？它们是新的吗？如果答案是否定的（或部分否，例如，引用早期论文中的精确结果），则需要一个精确的理由，以便作者知道如何修复论文。
健全性：
理想情况下，一篇论文提出的主张应该得到理论论据或实验结果的充分支持。
写作质量：
这篇论文是否组织良好并且写得很清楚？它是否很好地解释了新颖性和结果？该论文是否包含支持其声明所需的足够信息？
参考文献：
这篇论文是否被恰当地置于当代文学中？如果没有，请具体说明缺少的内容。请注意，由于论文有页数限制，因此通常需要判断是否应提及结果。
而这些属于第一阶段审稿人的审核标准，符合审核标准的则可以进入第二阶段。
通过第一阶段的论文，会再经过元审稿人（MR）、项目主席过目，之后还会有额外的审稿人来确保论文审核质量。
而为什么现在的顶会审稿人的水平参差不齐，甚至冒出了一群本科生和研究生，原因主要在于行业发展太快，投稿量的增加速度远高于合格审稿人的培养速度。
这不仅导致有能力审稿的人占比少了，而且有能力的审稿的人对每篇文章能投入的时间也少了。
参考资料：
https://towardsdatascience.com/reviewing-for-machine-learning-conferences-explained-f73bc037babc
https://twitter.com/zdeborova/status/1612841482192388098
https://www.zhihu.com/question/461564257/answer/1908243034、
点击进入—>CV微信技术交流群
CVPR/ECCV 2022论文和代码下载
后台回复：CVPR2022，即可下载CVPR 2022论文和代码开源的论文合集
后台回复：ECCV2022，即可下载ECCV 2022论文和代码开源的论文合集后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF
目标检测和Transformer交流群成立
扫描下方二维码，或者添加微信：CVer222，即可添加CVer小助手微信，便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群▲扫码或加微信号: CVer222，进交流群
CVer学术交流群（知识星球）来了！想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料，欢迎扫描下方二维码，加入CVer学术交流群，已汇集数千人！▲扫码进群
▲点击上方卡片，关注CVer公众号整理不易，请点赞和在看本文链接：https://my.lmcjl.com/post/4077.html
4 评论