使用GPT-4,学渣比学霸更有优势

人工智能 新闻
技能的造王者(King Maker)、加速器(Escalator)、平衡器(Leveler),AI究竟将扮演哪一种角色,并不是总是很清楚。

如果允许学生用AI“作弊”,他们的成绩分布会发生怎样的变化?

针对这个问题,真有几位大学教授正儿八经研究了一番,并写下了长达62页的研究论文。

图片

结果发现,使用GPT-4后学生的“能力曲线被压缩了”,差生和优等生的差距缩小

图片

沃顿商学院教授分享了这项研究后,引起不少网友讨论。网友对这样的结果也感觉很意外:

和我的预期完全不符啊,还以为所有人分数都会提高。

图片

还有网友称这是“真正的游戏规则改变者”:

AI正在改变教育格局,在缩小差距的同时提高标准。

图片

不过也有网友持不同观点:

擅长使用AI的人可能表现会非常出色,那种看起来差距缩小的情况可能只是因为有满绩点4.0这一上限。

图片

AI会是“平衡器”吗?

除了上面所说的,我们查看论文,发现研究人员还得出了这些结论:

  • 使用GPT-4对参与者总体任务完成的质量影响较小且不稳定;
  • 使用GPT-4显著减少了参与者完成任务的时间;
  • 平时技能水平较低的参与者在使用GPT-4后,任务完成质量提升最为显著,本就能独立高质量完成任务的参与者获得的质量提升较小;
  • GPT-4能为所有学生节省相似的时间,无论他们原本完成任务的速度如何;
  • 即便参与者不了解自己在各项任务上的具体成绩,他们也能明确指出GPT-4最有效的应用场景。

下面一起来看实验详情。

具体来说,来自南加州大学Gould法学院、明尼苏达大学法学院的几位教授,以研究AI辅助对法律分析的影响为例。

给参与实验的60位来自明尼苏达大学法学院的学生提出了四项初级律师常见的任务:起诉状起草(Complaint Drafting)、合同起草(Contract Drafting)、员工手册起草(EE Handbook)和客户备忘录起草(Client Memo)

不同的是,这些参与者随机分为两组(A组、B组),每组30人。A组参与者需使用GPT-4完成起诉状起草、合同起草任务,而B组使用GPT-4完成员工手册起草和客户备忘录起草任务。

图片

实验前,全部学生都接受了约2小时的培训,了解如何有效使用GPT-4进行法律分析。完成任务过程中,参与者需记录自己完成任务的时间。

然后,研究人员在不知道参与者身份和其他信息的情况下,匿名完成所有作品的评分。

具体实验结果如下。

在4.0绩点机制上,使用GPT-4辅助后,学生在四项任务中的平均分数波动幅度为+0.17、+0.24、+0.07、-0.07。

图片

可视化图表更直观:

图片

总的来说,仅合同起草任务的表现在95%置信水平上展现出了统计学意义上的显著提升。

再来看使用和不使用GPT-4参与者,完成任务平均花费的时间:

图片

可以直观地看到,参与者完成任务时间大大缩减:

图片

更多数据和分析内容,感兴趣的朋友可查看论文。

值得一提的是,几位教授在论文最后,还写下了12页启示,针对律师、法律客户、法官以及法学院、法学院学生提出了不同的建议。

其中指出:法学院需要重新考虑学生使用AI的时机和方法,以及在何种情况下应限制AI的应用,以便更好地适应未来实践的需求。

此外,针对不同人群的类似研究也不在少数。

职场中AI会是“平衡器”吗?

来自哈佛商学院、沃顿商学院、MIT斯隆管理学院等的研究人员联合波士顿咨询公司做了一项研究。

图片

他们选取了波士顿咨询公司中的部分高知员工,让他们使用AI辅助完成分析、创意构思和说服技巧等18项任务测试。

结果发现,原本表现位于团队下半层的顾问们在AI辅助下成果质量提升了43%;而平时表现在上半层的顾问仅提升了17%。

使用GPT-4之前,顶尖员工与其他员工之间的平均差距为22%;使用之后,这一差距显著缩小至4%

图片

MIT的一项研究同样表明,使用ChatGPT之后,高水平写作者和低水平写作者的表现差异缩减了一半

图片

创意写作领域亦见相似现象,伦敦大学学院、埃克塞特大学研究人员的一项实验表明,创意作家技能差距缩小,GPT-4提供的五个创意灵感“有效地平衡了不同创造力水平作家的创造力评分”

图片

不过,尽管有多项研究表明使用AI可以缩减人们之间的技能差距,但正如论文分享者、沃顿商学院教授Ethan Mollick所言:

技能的造王者(King Maker)、加速器(Escalator)、平衡器(Leveler),AI究竟将扮演哪一种角色,并不是总是很清楚。

图片

你认为AI在你的身边正扮演着哪种角色?

责任编辑:张燕妮 来源: 量子位
相关推荐

2023-08-15 10:33:06

微软必应人工智能

2024-04-02 11:38:31

模型训练

2023-04-11 14:13:23

阿里AI

2023-06-19 08:19:50

2023-12-03 22:48:42

AI模型

2023-03-30 11:08:49

AI模型训练

2023-09-03 12:56:43

2023-11-23 13:46:00

AI训练

2023-03-28 13:01:20

GPT-4开发OpenAI

2023-03-16 19:17:57

2023-05-03 20:53:48

2023-09-06 16:44:03

2022-04-20 10:47:46

AIGPT-4

2023-03-28 08:23:38

2015-07-07 11:15:36

WIFI/无线

2023-11-24 09:00:00

2023-07-25 09:23:23

Llama 2GPT-4

2023-06-28 08:36:44

大语言模型人工智能

2024-02-05 13:29:00

GPT-4代码ChatGPT

2024-04-25 16:56:14

GPT-4大模型人工智能
点赞
收藏

51CTO技术栈公众号