船新论文评审Python程序,淘汰人工审核,自动给arXiv打分

新闻 机器学习
英国牛津大学提出了最新的评审标准算法——State-Of-the-Art Review,SOAR,同时开源了它的Python程序代码。

 本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

什么?同行评审已经可以被AI程序取代了?

就在4月1日,英国牛津大学提出了最新的评审标准算法——State-Of-the-Art Review,SOAR,同时开源了它的Python程序代码。

船新论文评审Python程序,淘汰人工审核,自动给arXiv打分

SOAR优化了过去同行评审多目标、大规模分布、延迟极高的缺陷。

这篇颠覆现在同行评审制度的论文,已被“国际AI顶会”SIGBOVIK 2020收录。

SIGBOVIK是在每年4月1日举办的学术会议,只有一天的议程,但是接收的论文都是全球顶尖名校和科技巨头的顶级研究。

船新论文评审Python程序,淘汰人工审核,自动给arXiv打分

今年在大会上发表的SOAR智能系统,必将把人工审核机制扫进历史垃圾堆。

其他还靠人工审核论文的AI顶会表示瑟瑟发抖。不过大会评委们倒是很开心,因为以后不必做吃力不赚钱的活了。

船新的论文评分系统

目前同行评审系统存在着无法扩展、运行速度慢、结果不一致的问题。其中,审稿人看稿速度慢是主要问题,另外暴增的博士生数量也不可忽略。

从1990年到2010年,授予博士学位的人数呈指数式增长,但是谷歌搜索收录的论文数量在过去几年中却没有太大变化,即使旋转坐标轴也无法保持上升趋势。

船新论文评审Python程序,淘汰人工审核,自动给arXiv打分

以上证据表明,要么是现在博士的工作效率比其之前都要低,要么是现有的评审系统没有提供足够的能力审核越来越多的论文。

很显然是后者。

因此来自牛津大学的研究人员提出了SOAR计划。SOAR包含两个重要参数:

1、对文章中的SOTA单词数量进行计数,数字越高越可信。

2、另外就是判断文章新颖性,统计文中novelty这个单词出现的数量。

然后我们就得到了SOAR的计算公式:

船新论文评审Python程序,淘汰人工审核,自动给arXiv打分

计算SOAR分数的代码也很简单,我们可以通过Python 3.7.2的collections.Counter对象传递来实现SOAR算法。

而且,算法实现的成本很低,即使你没有计算机,也可以让研究生通过铅笔划线的方式,手工算出SOAR。

不过第二种算法的难度在于,需要提高研究生的忍耐力,并说服其更好地利用时间,这一点在实验上还未得到验证。

arXiv网站是我们看论文常去的地方。

如果你没有“SOAR人肉计算器”,牛津大学的研究人员还开发了arXiv的SOAR插件,可以对未经同行评审的论文打分,节省科研工作者的筛选时间。

插件的实际效果如下:

船新论文评审Python程序,淘汰人工审核,自动给arXiv打分

顶会SIGBOVIK真的很“顶”

SIGBOVIK从2007年开始举办,最初由CMU的高级计算机科学家Harry Q. Bovik带头,计算机异端学会组织,今年已是第14届。

[[320824]]

SIGBOVIK是一个研究内容相当多元化的计算机顶级学术会议。

过去SIGBOVIK讨论的内容就有:无能专家系统、深空导航、困惑理论、大型多人在线游戏、后悔最少算法、独自编译、人工智障、自然智能等等。

今年的大会可谓一波三折,本来计划3月1日截止投稿,但是一拖再拖,直到3月27日才截止。4月1日就举办了大会。

船新论文评审Python程序,淘汰人工审核,自动给arXiv打分

如此高的审核效率,不得不让人怀疑今年的大会评审是不是就已经用上了SOAR系统。

SIGBOVIK大会今年总共只接受了11篇论文,其中不乏CMU这样的名校,也不乏Google、Yandex等知名科技公司,

广大科研工作认为,在SOAR系统的加持下,SIGBOVIK将会是超越ICLR、CVPR水平的顶会。

以上内容纯属娱乐。

论文地址:

https://arxiv.org/abs/2003.14415

SIGBOVIK大会首页:

http://sigbovik.org/

会议全程录像:

https://www.youtube.com/watch?v=ClfBtwoHPeg

 

责任编辑:张燕妮 来源: 量子位
相关推荐

2021-07-14 15:27:27

论文神器数据

2021-02-03 17:52:38

AI 数据人工智能

2019-12-20 09:32:02

人工智能程序员软件

2012-01-05 17:36:04

2011年度IT博客大IT博客大赛精彩点评

2012-01-05 18:24:59

2011年度IT博客大IT博客大赛评委点评

2012-01-05 18:08:12

2011年度IT博客大IT博客大赛评委点评

2018-01-11 16:06:45

数据库SQL自动审核

2022-07-22 07:18:53

代码DeepMind

2023-08-16 07:37:04

OpenAIGPT-4

2011-08-02 18:30:32

iOS 应用程序 属性

2021-06-04 15:39:03

深度学习编程人工智能

2020-04-30 10:25:37

代码Github开源

2021-03-02 10:49:57

神经网络数据图形

2023-05-30 15:05:17

2016-03-16 10:31:48

传统程序员淘汰

2022-04-01 15:10:28

机器视觉人工智能目标检测

2021-05-18 15:22:54

AI 数据人工智能

2017-04-24 18:32:33

人工智能

2019-02-21 11:20:22

人工智能机器学习互联网
点赞
收藏

51CTO技术栈公众号