ChatGPT编程准确率暴降13%!UIUC&南大新基准让AI代码现原形了

人工智能
根据新的评估标准,大模型们的准确率平均下降了15%,其中比较广泛研究的CODEGEN-16B更是下降了超过18%。至于ChatGPT和GPT-4生成代码的性能,也下降了至少13%。

用ChatGPT写代码,已经是不少程序员的常规操作了。

图片

△“至少提速3~5倍”

但你有没有想过,ChatGPT生成的代码,有不少只是“看起来准确”而已?

来自伊利诺伊大学香槟分校和南京大学的一项最新研究表明:

ChatGPT和GPT-4生成代码的准确率,比之前评估的至少要降低13%

图片

有网友感叹,太多ML论文都在用一些有问题或有局限性的基准来评估模型,来短暂地达到“SOTA”,结果换个测评方法就现出原形了。

图片

还有网友表示,这也说明大模型生成的代码仍然需要人工监督,“AI写代码的黄金时间还没到呢”。

图片

所以,论文提出了一种怎样的新测评方法?

给AI代码考题加大难度

这个新方法名叫EvalPlus,是一个自动化代码评估框架。

具体来说,它会通过改进现有评估数据集的输入多样性和问题描述准确性,来将这些评估基准变得更严格。

一方面是输入多样性。EvalPlus会先根据标准答案,用ChatGPT生成一些种子输入样例(虽然要测ChatGPT的编程能力,但用它生成种子输入似乎也不矛盾doge)

随后,用EvalPlus改进这些种子输入,将它们改得更难、更复杂、更刁钻。

另一方面是问题描述准确性。EvalPlus会将代码需求描述改得更精确,在约束输入条件的同时,补充自然语言问题描述,以提高对模型输出的精确度要求。

图片

这里,论文选择了HUMANEVAL数据集作为示范。

HUMANEVAL是OpenAI和Anthropic AI一起制作的代码数据集,包含164个原创编程题,涉及语言理解、算法、数学和软件面试几种类型的题目。

EvalPlus会通过改进这类数据集的输入类型和功能描述,让编程问题看起来更清晰,同时用于测试的输入更“刁钻”或是更困难。

以其中的一道求并集编程题为例,要求AI写一段代码,找出两个数据列表中的共同元素,并给这些元素排序。

EvalPlus用它来测测ChatGPT写的代码准确度。

首先用几个简单输入进行测试,发现ChatGPT能输出正确答案。但如果换个输入,就找出了ChatGPT版代码的bug:

图片

属实是给AI们加大了考题难度。

图片

基于这套方法,EvalPlus还做了一个改进版HUMANEVAL+数据集,增加输入的同时,修正了一些HUMANEVAL里面答案就有问题的编程题。

图片

那么,在这套“新考题”下,大语言模型们的准确率实际上要打几折?

LLM代码准确率平均降低15%

作者们测试了当前比较受欢迎的10种代码生成AI。

GPT-4、ChatGPT、CODEGEN、VICUNA、SANTACODER、INCODER、GPT-J、GPT-NEO、PolyCoder、StableLM-α。

从表格中来看,经过严格测试后,这群AI的生成准确率都有所下降:

图片

这里会通过一种名叫pass@k的方法评估准确率,其中k是允许大模型给问题生成的程序数量,n是用于测试的输入数量,c是正确的输入数量:

图片

根据新的这套评估标准,大模型们的准确率平均下降了15%,其中比较广泛研究的CODEGEN-16B更是下降了超过18%。

至于ChatGPT和GPT-4生成代码的性能,也下降了至少13%。

不过,也有网友表示,大模型生成的代码效果没那么好,已经是“众所周知的事实”了,需要研究的是“为什么大模型写的代码不能用”。

图片


责任编辑:姜华 来源: 量子位
相关推荐

2023-05-04 09:39:16

AI模型

2023-05-15 13:55:28

2011-03-30 20:36:45

2022-04-13 10:31:04

微软Jigsaw大型语言模型

2023-06-01 17:44:52

ChatGPTOpenAI性能

2018-11-14 10:01:30

谷歌开源机器学习

2023-02-03 12:50:29

ChatGPTAI数据集

2023-11-08 08:38:43

2020-10-09 08:31:00

AI

2023-10-26 08:40:15

模型隐私推理

2024-01-05 08:44:52

2022-08-02 14:45:16

AI微软工具

2023-07-26 15:13:33

人工智能OpenAI

2022-09-14 09:55:32

人工智能AI解码技术

2023-08-15 14:55:57

2023-06-21 09:15:30

AI 技术神经网络

2020-11-20 17:03:11

AI 数据人工智能

2023-08-17 13:30:28

AI测试

2022-04-22 10:29:46

机器学习数据集计算

2024-04-08 07:02:40

AI服务器人工智能
点赞
收藏

51CTO技术栈公众号