阿里云发布通义千问2.0,性能加速追赶GPT-4

人工智能
阿里云首席技术官周靖人发布千亿级参数大模型通义千问2.0。在10个权威测评中,通义千问2.0综合性能超过GPT-3.5,正在加速追赶GPT-4。

在2023杭州云栖大会上,阿里云首席技术官周靖人发布千亿级参数大模型通义千问2.0。在10个权威测评中,通义千问2.0综合性能超过GPT-3.5,正在加速追赶GPT-4。

据悉,过去6个月,通义千问2.0在性能上取得巨大飞跃,相比4月发布的1.0版本,通义千问2.0在复杂指令理解、文学创作、通用数学、知识记忆、幻觉抵御等能力上均有显著提升。目前,通义千问的综合性能已经超过GPT-3.5,加速追赶GPT-4。

在MMLU、C-Eval、GSM8K、HumanEval、MATH等10个主流Benchmark测评集上,通义千问2.0的得分整体超越Meta的Llama-2-70B,相比OpenAI的Chat-3.5是九胜一负,相比GPT-4则是四胜六负,与GPT-4的差距进一步缩小。

中英文理解能力是大语言模型的基本功。英语任务方面,通义千问2.0在MMLU基准的得分是82.5,仅次于GPT-4,通过大幅增加参数量,通义千问2.0能更好地理解和处理复杂的语言结构和概念;中文任务方面,通义千问2.0以明显优势在C-Eval基准获得最高得分,这是由于模型在训练中学习了更多中文语料,进一步强化了中文理解和表达能力。

在数学推理、代码理解等领域,通义千问2.0进步明显。在推理基准测试GSM8K中,通义千问排名第二,展示了强大的计算和逻辑推理能力;在HumanEval测试中,通义千问得分紧跟GPT-4和GPT-3.5,该测试主要衡量大模型理解和执行代码片段的能力,这一能力是大模型应用于编程辅助、自动代码修复等场景的基础。

责任编辑:庞桂玉 来源: 比特网
相关推荐

2023-10-31 15:26:02

阿里云通义千问

2023-04-11 13:40:22

阿里云大模型通义千问

2023-08-03 19:11:45

2023-04-07 14:01:18

ChatGPT人工智能

2023-04-11 15:49:17

阿里云峰会人工智能

2023-12-04 09:55:58

AI大模型

2024-02-06 12:50:08

AI训练

2023-04-11 14:13:23

阿里AI

2023-06-19 08:19:50

2023-10-31 20:15:13

阿里云云栖大会通义千问

2023-07-12 16:10:48

人工智能

2023-03-15 07:49:57

GPT-4ChatGPT

2023-03-16 17:28:59

技术AI

2024-01-16 20:50:40

人工智能

2023-11-10 09:48:34

2023-06-08 11:27:10

模型AI

2023-12-01 13:36:01

阿里云通义千问

2023-08-28 00:50:14

模型开源

2023-03-10 13:30:01

微软人工智能
点赞
收藏

51CTO技术栈公众号