LLM基准测试过时了吗？一文读懂其在AI评估中的现状与挑战 原创

在当今人工智能飞速发展的时代，大语言模型（LLMs）已经成为现代AI应用的核心组成部分。从智能助手到代码生成器，从语言翻译到内容创作，LLMs的应用场景无处不在。然而，如何准确评估这些强大模型的能力，却一直是一个充满挑战的问题。传统的基准测试曾是衡量LLM性能的标准，但随着AI技术的飞速发展，人们开始质疑这些基准测试是否还能真实反映LLM在现实世界中的表现。本文将深入探讨LLM基准测试的现状，分析它们是否仍然具有相关性，并介绍一些广泛使用的基准测试及其对LLM的评估方式。

LLM基准测试：AI模型的“考试”

LLM基准测试是标准化的评估工具，用于衡量LLMs在特定任务上的表现。你可以将它们想象成AI模型的“考试”，旨在测试模型的推理能力、语言理解能力、编程能力等多方面的技能。每种基准测试都有其特定的评估标准，从简单的准确率和完全匹配分数到更复杂的基于模型的参数。

这些基准测试的目标是量化LLM在处理特定挑战时的有效性，帮助研究人员和开发者公平地比较不同模型，并了解它们的优势和局限性。一些流行的LLM基准测试包括MMLU、GPQA和MATH等。

LLM基准测试衡量什么？

不同的LLM基准测试侧重于不同的能力，以下是一些常见的评估内容：

推理与常识

这些任务检查模型是否能够运用逻辑和日常知识来回答复杂或微妙的问题。例如，一个模型可能需要根据给定的背景信息推断出一个合理的结论，或者理解一个情境并给出符合常识的答案。

语言理解与问答（QA）

这些测试评估LLM对书面内容的理解程度以及其提取或推断正确答案的能力。这包括对文本的阅读理解、对问题的准确回答，以及在给定上下文中正确使用语言的能力。

编程与代码生成

编程基准测试检查模型是否能够在各种编程语言中编写、修复或解释代码。这不仅包括生成正确的代码，还包括对代码逻辑的理解和调试能力。

对话能力

一些基准测试评估模型在对话中的自然度、连贯性以及提供与上下文相关答案的能力。这涉及到模型在多轮对话中保持话题连贯性和理解用户意图的能力。

翻译技能

这些测试关注模型将文本从一种语言准确转换为另一种语言的能力，同时保留其原始含义。这要求模型不仅理解两种语言，还要能够准确地表达相同的意思。

数学推理

从基础算术到高级数学问题，这些测试评估模型的计算准确性和解决问题的方法。这可能包括解决复杂的数学方程、进行逻辑推理以及应用数学概念。

逻辑思维

逻辑导向的基准测试挑战模型遵循演绎或归纳推理模式的能力。这要求模型能够理解逻辑关系，并根据给定的前提得出正确的结论。

标准化考试表现

基于SAT或GRE等标准化考试的基准测试模拟现实世界中的教育评估，以评估模型的一般认知能力。这些测试通常涵盖多个学科领域，评估模型在学术环境中的表现。

开发者如何选择合适的基准测试？

并非所有的LLMs都会在所有基准测试上进行测试，开发者通常会选择那些能够展示其模型优势的基准测试，并且只公布显示模型优秀的测试结果。那么，开发者是如何选择合适的基准测试来评估他们的模型的呢？选择合适的基准测试取决于以下几个因素：

任务对齐

开发者会选择能够反映他们希望模型展示的确切能力的基准测试。这可能包括文本摘要、编程、辅导或其他他们认为模型最擅长的任务。

领域相关性

他们确保基准测试与应用领域密切相关。例如，法律科技模型会接受法律语言理解的测试，而金融科技工具则会接受基于数学和推理的基准测试。

任务多样性

大多数开发者倾向于选择更通用或更广泛的基准测试，如问答或STEM相关的测试，以获得模型在各种挑战中的整体表现。

评估方法

开发者会考虑基准测试是否使用人工评估、完全匹配评分或基于LLM的评估。这很重要，因为它会影响结果的解释。

评估LLM的热门基准测试

基准测试对于评估LLM的优势和劣势至关重要。本文将介绍20个最流行的LLM基准测试，分为四个关键能力领域：通用语言与推理、编程、数学与STEM、多模态与视觉语言。这些基准测试通常用于研究论文、产品评估和公共排行榜。

通用语言与推理基准测试

这些基准测试评估LLM对自然语言、世界知识、逻辑以及跨学科复杂推理任务的掌握程度。

MMLU（大规模多任务语言理解）

MMLU旨在评估LLM在广泛学科领域的知识和推理能力，涵盖科学、技术、工程、数学、人文、社会科学和商业等57个科目。它是评估AI模型在多学科领域中的事实回忆和问题解决能力的最全面基准测试之一。

测试方法：测试包括来自不同领域的多项选择题，模仿现实世界的考试。基准测试采用零样本或少样本评估方法，即在测试前不对模型进行数据集的微调。性能基于准确率进行衡量，即AI在四个选项中选择正确答案的频率。

数据集：数据集来源于现实世界的学术考试和专业测试，确保问题反映出教育评估中的难度水平。

测试结果的意义：高MMLU分数表明模型具有强大的一般知识和推理能力，适用于辅导、研究协助以及回答现实世界中复杂问题的应用。例如，如果模型得分超过85，它可以在多个主题上以专家级推理解决问题。而得分低于30的模型可能在深入的学科知识和推理方面存在困难，其答案可能不一致或过于简单。

当前最高得分模型：GPT-4 o1（300b），得分87%。

人类最后的考试

人类最后的考试旨在将LLMs推向极限，测试它们解决高度复杂和新颖问题的能力。与传统的逻辑推理、事实回忆或模式识别等特定技能评估的基准测试不同，这个基准测试用完全未见的、创造性的或哲学性问题挑战模型，这些问题需要深度理解和洞察力。

测试方法：基准测试包括一系列没有明确答案的开放式问题。AI模型基于定性指标进行评估，如连贯性、推理深度和回答的新颖性。可能需要人工评估者对回答进行评分，因为自动化评分方法可能不足以评估。

数据集：没有固定的数据集；问题动态策划，保持不可预测性，以评估真正的AI智能而非记忆能力。

测试结果的意义：在这个基准测试中表现良好表明AI具有进行高级人类类推理的能力，使其适合于研究、哲学以及需要深度创造力和新颖见解的任务。例如，如果模型得分在80%或以上，它可以解决需要抽象思维和逻辑的复杂推理问题。而得分低于40%的模型可能在多步推理方面存在困难，在复杂问题解决任务中表现不佳。

当前最高得分模型：Gemini 2.5 Pro Exp，得分18.8%（基于公开可用的分数）。

GPQA钻石

GPQA钻石是通用问答（GPQA）基准测试的一个子集，旨在评估AI模型回答高度专业和困难问题的能力，这些问题只有一个正确答案。

测试方法：模型被给予一个问题，并且必须在一次尝试中（pass@1）产生一个精确且事实正确的答案。难度水平远高于标准问答数据集，专注于技术、科学和特定领域的知识。准确率以首次尝试正确回答的百分比来衡量。

数据集：手工策划的一系列挑战性问题，涵盖多个学科，包括高级数学、法律推理和科学研究。

测试结果的意义：高GPQA钻石分数表明AI模型在复杂领域中检索和形成高度准确答案方面表现出色，使其适合于专家AI助手、法律咨询和学术研究支持。例如，如果模型得分超过85%，它可以精确且深入地处理复杂的特定领域问题。而得分低于30%的模型可能在特定知识方面存在困难，经常提供模糊或错误的答案。

当前最高得分模型：Gemini 2.5 Pro Exp，得分18.8%。

LLM竞技场排行榜

LLM竞技场排行榜是一个众包排名系统，用户根据现实世界中的互动和用例评估LLMs。

测试方法：AI模型接受开放式互动，用户根据流畅性、连贯性、事实准确性以及回答查询的整体有效性对它们进行评分。

数据集：一个动态的、用户生成的数据集，来自各种应用中的现实世界互动。

测试结果的意义：在LLM竞技场排行榜上排名靠前表明AI模型在实际应用中受到好评，如通用目的协助、商业自动化和研究支持。例如，如果模型排名在前3位，它在准确性、连贯性和推理方面始终优于竞争对手。而排名在前20名之外的模型可能在复杂任务方面存在显著弱点，使其在高级应用中不够可靠。

当前最高得分模型：Gemini 2.5 Pro Exp，得分1439。

ARC（AI2推理挑战）

ARC专门设计用于评估AI模型的常识推理和逻辑推理能力。 这些问题类似于小学科学考试，但结构上旨在挑战AI应用逻辑的能力，而不仅仅是识别模式。

测试方法：测试分为“简单”和“挑战”两部分。“挑战”部分包含对依赖纯统计相关性的AI模型来说较难的问题。AI模型根据多项选择准确率进行评估，特别强调其回答需要推理的问题的能力，这些问题是超越表面知识的。

数据集：一系列教育考试中的科学问题，经过筛选以强调推理而非简单回忆。

测试结果的意义：高ARC分数表明AI模型具有强大的逻辑推理能力，使其适合于教育辅导、决策支持以及各种应用中的自动化推理任务。例如，如果模型得分在80%或以上，它可以解决需要抽象思维和逻辑的复杂推理问题。而得分低于40%的模型可能在多步推理方面存在困难，在复杂问题解决任务中表现不佳。

TruthfulQA

TruthfulQA评估AI生成事实准确回答的能力，同时避免错误信息和常见误解。它特别适用于评估在需要高度信任的应用中的AI，如新闻业和医疗援助。

测试方法：TruthfulQA在零样本设置中评估模型，不允许进行调整。它包括两个任务：生成任务，模型生成1-3句回答；以及多项选择任务。此外，测试包括一系列旨在引出常见错误信息的回答的问题。

AI模型根据其回答的真实性而非仅仅是语言流畅性进行评分。每个问题给模型一个0-1之间的分数，其中0代表完全错误的答案，1代表完全真实的答案。在大多数情况下，将回答真实问题的百分比作为基准。

数据集：一系列经过策划的事实核查问题，旨在挑战AI模型对常见错误和偏见的识别。它包含817个问题，涵盖38个类别，包括健康、法律、金融和政治。

测试结果的意义：高TruthfulQA分数表明AI模型不太可能生成误导性或错误的信息，使其适合于事实核查、医疗保健、教育以及可信AI部署等应用。

例如，如果模型平均得分超过0.5，或者75%的回答是诚实的，这意味着该模型是可信的。换句话说，它证明了该模型通常提供经过合理推理且事实正确的答案，错误信息极少。而得分低于0.2，或者少于30%的问题回答诚实的模型，容易捏造或歪曲事实。这使得它在对真实性要求严格的应用中不可靠。

编程基准测试评估LLM

编程基准测试衡量LLM在多种编程语言中生成、理解和调试代码的能力。这些基准测试对于协助开发人员或自主编写代码的工具至关重要。

HumanEval

HumanEval旨在评估LLM根据问题描述生成功能性Python代码的能力。它评估AI的编程能力、逻辑推理能力以及编写正确解决方案的能力。

测试方法：模型被给予描述要实现的函数的提示。通过单元测试验证生成代码的正确性，将模型的输出与预期结果进行比较。评估指标是pass@k，衡量模型在k次尝试内产生正确解决方案的概率。

数据集：由OpenAI创建，HumanEval包含164个Python编程问题，涵盖各种编程概念和挑战。

测试结果的意义：高HumanEval分数表明AI模型擅长编程，能够生成功能性、语法正确的Python代码，适用于软件开发和AI辅助编程任务。例如，如果模型得分超过85%，它可以可靠地编写工作代码，解决算法问题，并协助开发人员处理复杂的编程任务。而得分低于40%的模型可能生成错误或低效的代码，使其在现实世界的编程需求中不可靠。

当前最高得分模型：Claude 3.5 Sonnet，得分100。

SWE-bench Verified

SWE-bench（软件工程基准测试）Verified旨在评估AI模型理解、调试和改进软件代码的能力。

测试方法：AI模型在真实世界的软件开发任务中接受测试，包括错误修复、重构和功能实现。解决方案必须通过各种验证检查以确认正确性。模型根据其产生完全功能且经过验证的解决方案的能力进行评估。

数据集：基于真实世界软件仓库的一系列编程挑战，包括开源项目和企业级代码库。

测试结果的意义：高SWE-bench Verified分数表明AI模型在软件工程方面能力很强，使其在自动化代码生成、调试和AI辅助编程方面具有价值。例如，如果模型得分在80%或以上，它可以准确地修复复杂的错误并重构代码。而得分低于40%的模型可能在处理真实世界的软件问题方面存在困难，并产生不可靠的修复。

Aider Polyglot

Aider Polyglot旨在评估AI在多种编程语言中生成和理解代码的能力。它评估模型在不同语言之间切换的能力、理解跨语言语法差异的能力以及生成正确和高效代码的能力。重点是AI在各种编程范式中的适应性以及在不同环境中生成惯用代码的能力。

测试方法：AI模型被给予不同语言的编程任务。评估重点是语法正确性、执行准确性和效率。AI还被测试其处理跨语言推理的能力，例如在保持功能性和效率的同时将代码从一种语言转换为另一种语言。

数据集：该基准测试使用来自真实场景、编程竞赛挑战和开源仓库的编程问题数据集。这些任务涉及多种语言，包括Python、JavaScript、C++和Java。

测试结果的意义：高分表明AI模型擅长多语言编码任务，使其对于在多种技术栈中工作的开发人员、代码翻译以及各种语言中的调试任务具有价值。例如，如果模型得分超过85%，它可以无缝地协助多种语言，如Python、Java和C++。而得分低于40%的模型可能在不同编程语言之间的语法和上下文方面存在困难。

当前最高得分模型：Gemini 2.5 Pro Exp，得分74%。

LiveCodeBench v5

LiveCodeBench v5测试AI在现实世界约束下生成实时、可执行代码的能力。与静态编码测试不同，它侧重于AI在交互式环境中解决编码问题的能力，结合运行时反馈和迭代调试。

测试方法：AI被要求交互式地解决编码问题。它根据其初始代码的准确性、处理运行时错误的能力以及效率进行评估。模型的适应性也受到测试，因为它必须根据实时反馈和变化的测试用例调整解决方案。

数据集：数据集包括来自编程竞赛、真实世界开发场景和开源仓库的交互式编码问题和调试任务。

测试结果的意义：高分表明AI在实时编码方面表现出色，使其适用于AI驱动的代码补全、调试协助和交互式编程环境，这对于提高开发人员的生产力至关重要。例如，如果模型得分在90%以上，它可以处理动态编码挑战、调试和自动补全，具有很高的准确性。而得分低于40%的模型可能在保持编码上下文方面存在困难，并且可能频繁生成错误。

当前最高得分模型：Kimi-k1.6-IOI-high，代码生成得分73.8。

MBPP（大多是基础编程问题）

MBPP评估LLM使用自然语言指令解决初学者到中级编程任务的能力。它适用于测试模型的核心算法理解和基本编码技能。

测试方法：模型被给予简短的问题描述，并被要求生成解决描述问题的Python代码。每个问题都包含一个简短的自然语言提示，描述任务，模型被期望生成解决它的Python代码。

生成的代码会自动评估其功能正确性、语法有效性和与问题描述的逻辑一致性。这通常是在少样本设置中进行的，模型在尝试新问题之前会看到一些已解决的示例。零样本和微调评估也很常见。

数据集：MBPP包含974个问题，来源于教育和编程竞赛平台。任务包括对字符串、列表和字典的操作，以及数学、条件语句、递归和简单的文件处理。所有问题都可以在10行以内的Python代码中解决，并且每个问题都附带3个单元测试。

测试结果的意义：高MBPP分数反映了模型按照清晰指令生成功能性代码的能力。

例如，得分超过80的模型可以处理编码教程并协助初学者程序员。这种模型非常适合代码辅导、自动补全工具和初学者级别的开发支持。而得分低于30的模型可能生成有错误或语法无效的代码。

当前最高得分模型：由Claude 3.5-Sonnet驱动的QualityFlow，准确度为94.2。

MTPB（多轮编程基准测试）

MTPB评估AI模型在代码生成中进行多轮对话的能力。它模拟了真实世界中的软件开发场景，开发人员根据反馈、调试输出和不断演变的指令来完善代码。它测试上下文记忆、跟进和多轮对话中的问题解决能力。这些技能对于用于代码配对编程或作为副驾驶的LLMs至关重要。

测试方法：每个任务从用户查询开始，描述编码目标。模型提出解决方案，随后模拟用户（或测试脚本）提供反馈，可能指出错误、要求添加功能或提出更改。这个循环会持续3到5轮。

最终输出会针对一组功能要求和单元测试进行测试。评估考虑最终代码的正确性、模型整合细微反馈的能力以及对话过程中的稳定性和连贯性。它还会考察模型达到工作解决方案所需的 交互次数。

数据集：MTPB数据集包含115个真实的软件工程问题。这包括用户反馈循环、代码重构任务和增量功能实现。反馈信息被设计为模糊和明确的，模仿开发人员在真实场景中收到的指令。

测试结果的意义：高MTPB分数表明模型能够在多轮对话中跟踪上下文，而不会丢失上下文或引入回归。这意味着该模型适合于迭代代码审查、配对编程和辅导等任务。

例如，如果模型得分超过85%，它可以迭代改进代码，理解测试用例，并提供有用的调试建议。而得分低于40%的模型可能在多步编程任务中存在困难，并产生不完整或错误的解决方案。

数学与STEM基准测试评估LLM

这一类别侧重于数值能力和结构化推理，包括纯数学以及与科学相关的解决问题能力。这些基准测试评估模型按步骤推理和解释定量数据的能力。

GSM8K

GSM8K是一个小学水平的数学应用题数据集，旨在评估LLM在算术和基础代数推理方面的能力。这些问题需要多步计算、逻辑推理以及对基本数学原理的理解。

测试方法：模型被呈现数学应用题，并被要求生成逐步解决方案。评估基于最终答案是否与正确答案匹配。此外，中间推理步骤也会被评估，以衡量逻辑连贯性和解决问题的深度。

数据集：GSM8K包含1319个高质量的小学水平问题。这些问题由人类专家手动编写，确保多样性和现实的数学挑战。

测试结果的意义：高GSM8K分数表明模型具有强大的算术和基础代数推理能力。它表明模型能够协助基础教育、自动化辅导和基本金融计算。

例如，如果模型得分超过80%，它可以可靠地解决非平凡的代数、几何和数论问题。而得分低于30%的模型可能在复杂的多步推理中失败，并且在精确性方面存在困难。

当前最高得分模型：Claude 3.5 Sonnet（HPT），得分97.72。

MATH基准测试

MATH基准测试评估AI模型解决高级、高中水平数学问题的能力，需要深入的逻辑推理、符号操作和多步问题解决技能。

测试方法：测试包括来自代数、几何、微积分和数论的问题。AI模型必须生成完整的逐步解决方案，而不仅仅是最终答案。评估过程检查中间步骤的正确性和逻辑合理性。

数据集：数据集包含12500个问题，来源于真实的数学竞赛和高中课程挑战。

测试结果的意义：高MATH基准测试分数表明AI模型在技术领域表现出色，如STEM辅导、研究，甚至协助数学证明和计算建模。

例如，如果模型得分在70%或以上，它可以可靠地解决具有挑战性的代数、微积分和几何问题。而得分低于30%的模型可能在多步数学推理中失败，并且在抽象问题解决方面存在困难。

AIME 2025（pass@1）

AIME（人工智能数学评估）2025是一个旨在评估AI模型解决高级数学问题的能力的基准测试。它包括受著名数学竞赛启发的问题。

测试方法：在这个测试中，模型必须在第一次尝试（pass@1）时提供正确的答案，没有重试的机会。问题包括代数、组合数学、数论和几何。模型性能根据产生正确最终答案的准确性进行评估。

数据集：问题来源于高级数学竞赛和大学水平的习题集。

测试结果的意义：高AIME 2025分数表明模型具有强大的数学推理能力，使其适合于协助研究、STEM教育和科学计算。例如，如果模型得分超过80%，它可以可靠地解决非平凡的代数、几何和数论问题。而得分低于30%的模型可能在复杂的多步推理中失败，并且在精确性方面存在困难。

当前最高得分模型：Grok 3（Beta）扩展思考，得分93.3%，这是该基准测试的最高分。

ScienceQA

ScienceQA是一个多模态数据集，评估AI模型使用文本和视觉信息进行推理的能力，特别是针对科学相关主题。

测试方法：数据集包括基于科学的多项选择题，AI模型必须在分析文本和图表后再生成正确答案。

数据集：一个包含21000个多模态问题的集合，涵盖物理、化学和生物，来源于教育材料。

测试结果的意义：高ScienceQA分数表明模型在AI辅助教育、辅导平台和科学文档分析方面表现出色。例如，如果模型得分超过85%，它可以深入解释科学概念，使其适用于教育和研究。而得分低于40%的模型可能误解数据，并且在科学推理方面存在困难。

MGSM（多语言小学数学）

MGSM测试模型在多种语言中进行小学水平数学推理的能力。它评估多语言理解和逻辑问题解决的交叉点，帮助确定LLM是否能够在不同语言之间泛化数学能力。

测试方法：基准测试涉及解决涉及算术、逻辑和基础代数的数学应用题。每个问题被翻译成10多种语言，包括西班牙语、印地语、法语、中文和阿拉伯语。模型必须准确理解给定语言中的问题，进行正确的计算或推理，并返回正确的数值或文本答案。评估基于完全匹配准确性和推理的正确性（如果展示）。

数据集：基于GSM8K数据集构建，MGSM使用8500多个小学数学问题，手动翻译以保留意图和措辞。数据集引入了语言复杂性，如习语、句子结构变化和数字-单词格式。

测试结果的意义：高MGSM分数表明模型能够弥合语言和推理之间的差距。这对于构建包容性的、多语言的AI教育和辅导系统至关重要。

例如，得分超过80%的模型可以有效地用母语教授数学或回答问题。而得分低于40%的模型则揭示出语言理解方面的差距或推理方面的断裂。

多模态与视觉语言基准测试评估LLM

多模态基准测试评估模型解释和推理文本和视觉数据的能力。这对于图像描述、文档理解和视觉问答等应用至关重要。

MMMU（大规模多模态多任务理解）

MMMU评估AI模型处理和推理文本、图像和图表等多种模态数据的能力，对于多模态AI应用至关重要。

测试方法：模型在需要同时解释文本和视觉输入的任务上接受测试。这些包括回答有关图像的问题、推理图表以及从多媒体数据中提取见解。

数据集：一系列经过策划的图像-文本对，涵盖科学图表、图表、医学图像和日常场景。

测试结果的意义：高MMMU分数表明AI模型在自动化文档分析、AI辅助医学成像和智能数据可视化等领域表现出色。例如，如果模型得分超过80%，它可以准确处理和响应复杂的多模态查询。而得分低于40%的模型可能在跨模态推理方面存在困难，并且产生不一致的结果。

VQAv2（视觉问答）

VQAv2测试AI模型解释图像并回答相应文本问题的能力。它广泛用于评估AI在视觉语言理解方面的表现。

测试方法：AI模型被提供图像和自然语言问题。根据生成的答案是否与人工标注的正确答案匹配来衡量准确性。

数据集：数据集包含265000个图像-问题-答案三元组，确保在各个领域进行稳健的评估。

测试结果的意义：高VQAv2分数表明模型在无障碍应用、自动化图像描述和AI驱动的内容审核方面具有强大的能力。例如，如果模型得分超过80%，它可以以高准确性理解和描述复杂图像。而得分低于40%的模型可能误解图像，在上下文理解方面存在困难，并且提供不正确或模糊的答案。

BFCL（伯克利函数调用排行榜）

BFCL测试模型理解API文档并执行函数调用任务的能力。它模拟了AI助手将自然语言翻译成结构化API调用的场景。这是基于LLM的代理与外部工具和环境交互的关键技能。

测试方法：测试呈现自然语言指令（例如，“查看明天中午巴黎的天气”）和一系列可用函数定义及其输入参数。模型必须返回与用户意图匹配的正确格式的函数调用。

评估检查模型是否能找到与预期函数签名完全匹配的内容，正确映射参数和值，并正确使用数据类型和约束。参数不匹配、幻觉函数或参数解释错误等错误会导致分数降低。

数据集：数据集包括数千个真实世界的API场景，如天气查询、日历安排和搜索任务。每个提示都配有清晰的规范和参数，与结构化的JSON样式的函数模式配对。

测试结果的意义：高BFCL分数表明模型能够正确解释结构化输入，遵循约束，并进行精确的函数调用。这对于与插件或API等工具集成的LLMs至关重要。

如果模型在这个基准测试中得分超过90%，这表明它具有强大的工具使用能力。而得分低于50%的模型可能在参数处理方面表现不佳，并且容易出现幻觉行为。

排行榜基准测试与官方基准测试

LLMs在受控环境中 进行测试，外部偏见或额外的人工干预不会影响结果。这适用于大多数官方基准测试，如MMLU和HumanEval，它们评估特定能力。然而，像LLM Arena和Hugging Face Open LLM Leaderboard这样的真实世界排行榜依赖于用户反馈和众包评估。因此，后者提供了对LLM有效性的更动态的评估。

官方基准测试提供了标准化的评估指标，但它们往往不能反映真实世界的表现。基于排行榜的评估，如LMSys或Hugging Face上的评估，捕捉到实时用户反馈，使其成为衡量LLM可用性的更实用的指标。

官方基准测试允许进行可重复的测试，而基于排行榜的基准测试则根据用户互动进行调整。排行榜能够捕捉到静态测试可能遗漏的新兴优势和弱点。行业专家越来越倾向于排行榜，因为它们更适用于真实世界的应用。像LMSys、Hugging Face和Open LLM Leaderboard这样的平台提供了动态的真实世界评估。这些平台上的社区驱动反馈展示了LLMs随时间的演变，超出了固定基准测试的一次性测试。此外，大多数标准基准测试只发布最终结果，这引发了关于其真实性的质疑，尤其是当高分模型在现实世界中表现不佳时。在这种情况下，开源基准测试鼓励合作和透明度，从而导致更稳健的LLM评估。

本文转载自公众号Halo咯咯    作者：基咯咯

原文链接：​​https://mp.weixin.qq.com/s/uCzwPw3n6Adi5eXkkCGdpg​​