1.1 模型基准测试的定义、核心目标与关键术语
我最早听说“模型基准测试”这个词，脑子里冒出来的画面是给AI模型发一张考卷，看它能考多少分。这个理解不算错，但有点窄。说白了，模型基准测试就是一套标准化的方法，用来在固定条件下考察模型在特定任务上的表现。它的核心目标有三个层面：衡量模型能力到底行不行，比较不同模型之间的差距，还有发现模型在哪些地方容易翻车。我接触过不少团队，有人把基准测试当成排行榜上的数字游戏，有人把它当成选型时的硬指标，还有人拿它来指导模型迭代。这些用法都合理，前提是你得清楚每个基准测试背后到底测了什么。
关键术语需要拎清楚。任务（Task）指的是让模型干的具体事情，比如回答选择题、写代码、做数学题。数据集（Dataset）是任务对应的题目集合，有输入也有标准答案。指标（Metric）是打分规则，准确率、通过率、BLEU、ROUGE、Elo分数都算。提示词（Prompt）是给模型的指令格式，同一个模型换一种问法，分数可能差很多。少样本（Few-shot）和零样本（Zero-shot）说的是给不给例子。还有基线（Baseline），就是拿一个已知水平的模型当参照物。我刚开始搞评测的时候，把这些术语混着用，跟同事沟通经常鸡同鸭讲。后来才明白，说“基准测试”的时候，得先问一句：你指的是数据集、评测流程，还是排行榜结果？
从我的经验看，定义清楚这些概念，能省下大量扯皮时间。一个业务方跑过来问“哪个模型最好”，我会反问他：你关心的是通用知识、代码能力，还是安全合规？不同基准测试测出来的“好”完全不是一回事。开发者关心模型在特定任务上的极限，研究者关心评测方法能不能复现。大家站在不同角度，对同一个基准测试的期待也不一样。定义和术语并非咬文嚼字，而是对齐认知的第一步。
1.2 大模型时代为什么需要基准测试：能力衡量、模型选型与风险治理
大模型时代以前，模型能力相对好判断。图像分类看准确率，机器翻译看BLEU，语音识别看词错误率。到了大模型这儿，一个模型既能写诗又能写代码，还能做数学题、翻译、总结、角色扮演。能力边界模糊了。我试过用同一个模型处理完全不同类型的任务，有时候惊喜，有时候惊吓。没有基准测试，你只能靠感觉说“这个模型好像挺聪明”。感觉这东西，在工程决策里最不靠谱。基准测试提供了一把尺子，哪怕这把尺子不完美，至少能让不同模型站在同一个起跑线上比一比。
模型选型是另一个刚需。我参与过好几次业务选型，候选模型有五六个，每个都宣称自己“业界领先”。老板问选哪个，你总不能说“我凭直觉”。这时候基准测试就派上用场了。通用能力看MMLU、C-Eval，代码看HumanEval、MBPP，数学看GSM8K、MATH，对话偏好靠Chatbot Arena的Elo。把这些分数拉出来，再结合业务场景做加权，选型就有了数据支撑。分数高不等于业务效果好，但分数低你至少知道要谨慎。我见过一个团队，没做基准测试，选了一个在中文理解上很弱的模型，上线后客服机器人答非所问，返工成本巨大。
风险治理这块，越来越重要。大模型会输出有害内容、泄露隐私、产生偏见。基准测试里的安全评测集，比如AdvBench、ToxiGen、SafetyBench，就是用来暴露这些问题的。我认识一位做合规的朋友，他们公司要求所有上线的模型必须通过内部安全基准测试，不通过就回炉重造。监管层面也在推标准化评测。从我的角度看，基准测试不只是技术工具，它还是风险管理工具。你不可能等模型上线出了事故再补救，提前用基准测试扫一遍雷，成本低得多。
1.3 模型基准测试的总体流程：任务设计、数据构建、评测执行与结果解读
我自己跑过几轮完整的基准测试，流程大致分四步，但每一步都有坑。任务设计是起点。你要想清楚测什么。是测模型的知识广度，还是推理深度？是测单轮问答，还是多轮对话？任务定义模糊，后面全白搭。我见过一个团队说要测“模型智能水平”，结果设计出来的题目全是记忆题，模型背得好就高分，根本测不出推理能力。任务设计得跟业务目标挂钩。比如做法律咨询，那就设计法律条文理解、案例推理、合规判断的任务。
数据构建这块。题目从哪来？自己标注，还是用公开数据集？自己标注成本高，但更贴合场景。公开数据集方便，但可能已经被模型“见过”。防污染很关键。我习惯把数据集分成训练集、验证集和测试集，测试集严格保密。题目难度要分层，简单题、中等题、难题都得有，不然分数扎堆在顶端，区分度就没了。标注质量也得盯，人工标注的题目经常有歧义，标准答案不唯一的情况很常见。我一般会做交叉验证，让两个人独立标注，不一致的地方讨论解决。
评测执行和结果解读是收尾环节。执行要统一环境，模型版本、推理参数、提示词模板、温度设置都得固定。我吃过亏，同一个模型，温度从0改成0.7，分数波动了五个百分点。结果解读最考验人。分数高不代表一切，你要看它在哪类题目上错，错的模式是什么。有一次我们发现某个模型数学题分数很高，仔细一看，它只是记住了常见题型，稍微变个数字就错。这种“假能力”光看总分根本发现不了。结果解读要结合错误分析、案例回看，甚至人工抽查。我现在的习惯是，跑完基准测试后，一定随机抽几十个模型的回答，自己读一遍。数字会骗人，具体回答不会。
2.1 大模型基准测试数据集的常见类型：知识、推理、代码、数学、多语言与安全
我拿到一份评测报告，会先翻它用了哪些数据集。数据集类型决定了这份报告能回答什么问题。知识类数据集考模型脑子里装了多少东西。MMLU、C-Eval、AGIEval、MMLU-Pro都属于这类。题目形式多是选择题，覆盖历史、法律、医学、物理等学科。模型答对，说明它训练时见过并记住了这些知识。答错，可能是知识缺失，也可能是理解偏差。我见过一个模型在MMLU上分数很高，问它具体某个法条细节就胡说，说明它的知识是碎片化的。
推理类数据集不一样。它要模型一步步想，不能靠死记硬背。BBH、HellaSwag、ARC、DROP、LogiQA都测推理。有的测常识推理，有的测逻辑推理，有的测多步推理。我比较喜欢BBH，它把复杂任务拆成小任务，能看出模型在哪个推理环节掉链子。代码和数学数据集更硬核。HumanEval、MBPP、LiveCodeBench测代码生成，GSM8K、MATH、AIME测数学解题。这两类任务有客观答案，对错分明，不容易掺水。我跑过HumanEval，模型写出来的代码有的能跑，有的语法对逻辑错，光看通过率不够，还得看错误类型。
多语言和安全数据集是近两年越来越重要的类型。MGSM、FLORES-200、XTREME测模型在多语言环境下的理解和翻译能力。安全类数据集像AdvBench、ToxiGen、SafetyBench、CValues，专门用来试探模型会不会输出有害内容、偏见言论或者泄露隐私。我做安全评测时，会混合使用这些数据集。单一数据集覆盖的攻击面有限。不同文化背景下的安全标准不一样，CValues这类中文安全数据集就更贴合国内场景。
2.2 数据集设计原则：覆盖度、难度分层、防污染、可复现与标注质量
自己设计数据集，我踩过不少坑。覆盖度是首要盯的。题目不能只集中在某个领域。我见过一个团队做客服模型评测，数据集里八成是退换货问题，模型在物流查询上表现很差，他们却没发现。好的数据集应该像一张网，把目标能力的各个角落都兜住。领域覆盖、任务类型覆盖、语言覆盖、难度覆盖，都得考虑。覆盖度不够，评测结果就是盲人摸象。
难度分层很关键。所有题目都太简单，模型分数都接近满分，区分度就没了。所有题目都太难，模型分数都接近零，也看不出差距。我习惯把题目分成简单、中等、困难三档，简单题占三成，中等题占五成，难题占两成。这样既能看出模型的基础能力，也能看出它的上限。防污染是底线。测试集绝对不能出现在训练数据里。我一般会把测试集加密保存，只给评测人员访问权限。公开数据集容易被模型“背下来”，我会尽量用新构建的、未公开的题目。
可复现和标注质量是数据集的生命线。可复现意味着别人拿到你的数据集和评测脚本，能跑出同样的分数。这要求你固定随机种子、记录提示词模板、公开推理参数。标注质量决定数据集有没有说服力。人工标注的题目经常有歧义。我做过一个实验，让三个人独立标注同一批题目，一致率只有七成。后来我们定了详细标注规范，做了交叉验证，一致率才提上去。标注质量差的数据集，评测结果再好也没人信。
2.3 主流大模型基准测试数据集盘点与适用场景
主流数据集我按能力维度盘一下。知识类，MMLU是英文通用知识的老牌标杆，C-Eval是中文知识评测的常用选择，AGIEval偏向人类考试题，MMLU-Pro难度更高。适用场景是模型选型时看通用知识底子。推理类，BBH适合看复杂推理，HellaSwag和ARC适合看常识推理，DROP和LogiQA适合看阅读理解与逻辑。代码类，HumanEval和MBPP是经典，LiveCodeBench用最新竞赛题，能缓解污染问题。数学类，GSM8K适合小学数学应用题，MATH适合竞赛级数学，AIME适合高难度数学竞赛。多语言类，MGSM测多语言数学推理，FLORES-200测翻译，XTREME测跨语言理解。安全类，AdvBench测对抗攻击，ToxiGen测毒性生成，SafetyBench测安全知识，CValues测中文价值观。
适用场景得结合业务。做中文客服，我会重点看C-Eval、CValues和中文对话数据集。做代码助手，HumanEval、MBPP、LiveCodeBench是必看。做教育产品，GSM8K、MATH、AIME能反映数学辅导能力。做海外业务，MGSM、FLORES-200、XTREME能看出多语言支持水平。安全合规团队会盯AdvBench、ToxiGen、SafetyBench。我通常不会只看一个数据集，而是把多个数据集的结果拼起来，形成能力画像。
这些数据集各有各的局限。MMLU偏英文和静态知识，C-Eval偏中文考试风格，HumanEval题目量小，GSM8K题目偏简单。用的时候得知道它们测什么、不测什么。我见过有人拿MMLU分数去推断代码能力，这就不靠谱。数据集是工具，工具得用对地方。
2.4 数据集使用中的常见误区：数据泄漏、过拟合、评测偏差与动态更新
数据泄漏是最隐蔽的坑。模型训练时可能已经见过测试集题目。你跑出来的高分，可能是记忆分，不是能力分。我遇到过好几次，某个模型在某个数据集上分数异常高，换一个同类型的新数据集就掉下来。怎么防？用新构建的数据集，或者用动态更新的数据集。LiveCodeBench、LiveBench这类定期换题的数据集，泄漏风险小一些。定期检查训练数据里有没有测试集，也是必要动作。
过拟合和刷榜是另一个问题。有些团队针对特定数据集反复调模型，把分数刷上去，模型真实能力没提升。我见过一个模型在GSM8K上接近满分，换一道稍微变形的小学数学题就错。这种过拟合就像考前背答案，考完就忘。评测偏差也得留意。同一个模型，换一种提示词，分数可能差很多。少样本示例选得不一样，结果也不一样。语言文化偏差更麻烦，英文数据集测出来的高分，不代表中文场景也好用。我现在的做法是，重要评测至少用两套提示词模板，取平均或者看波动范围。
动态更新是数据集保持生命力的关键。静态数据集用久了会饱和，模型分数都顶到天花板，区分度下降。MMLU刚出来时很有区分度，现在头部模型分数都很高。GSM8K也有类似趋势。我会关注那些定期更新或者持续新增题目的数据集，比如LiveCodeBench、LiveBench、Arena-Hard。动态更新还能对抗数据泄漏。动态更新也有成本，新题目需要标注，评测结果不能直接跟旧版本比。我一般会同时保留静态数据集的长期趋势和动态数据集的近期快照，两个视角一起看。
3.1 大模型基准测试排行榜的运作机制：提交、复现、排名与更新
我最早看排行榜，以为就是一堆模型按分数从高到低排。后来自己参与了几次评测提交，才发现里面的门道比想象中多。一个排行榜的运作，通常有几种模式。有的平台开放提交，模型团队自己跑完评测，把结果和日志传上去。有的平台不接受自行提交，而是由官方用统一脚本重跑一遍，确保公平。我最信任的是第二种。自己跑自己的模型，容易挑最好的提示词、最有利的随机种子，甚至偷偷在测试集上微调。官方重跑虽然慢，至少把变量控制住了。
复现是排行榜的生命线。我见过一个模型在某个榜单上排名很高，但没人能复现出同样的分数。后来发现它用了特殊的解码策略，还改了评测脚本。这种分数就没啥参考价值。好的排行榜会要求提交方提供完整的复现材料：代码版本、推理参数、提示词模板、硬件环境。我一般会优先看那些支持一键复现的榜单。排名规则也值得细看。有的按单一指标排，有的按多个任务加权。加权方式不同，排名可能完全反过来。更新频率同样关键。静态榜单用久了会饱和，头部模型挤在一起，区分度下降。动态榜单定期换题、刷新版本，能保持区分度，但旧结果不能直接跟新结果比。
更新机制还涉及模型版本迭代。同一个模型，今天叫GPT-4，明天出了GPT-4 Turbo，分数可能差不少。排行榜得标注清楚评测的是哪个版本、哪个日期。我吃过亏，看到某个模型排名靠前就去用，结果发现那是半年前的旧版本，新版本反而退步了。现在我看榜单，会先找“最后更新时间”和“模型版本号”，这两个信息比排名本身还重要。
3.2 常见评测指标与汇总方式：准确率、通过率、Elo、胜率、综合均分与加权排名
评测指标看着简单，用起来容易踩坑。准确率是最直观的，选择题答对多少就是多少。可准确率有个问题：它不区分模型是“真懂”还是“蒙对”。四个选项的选择题，随机猜也有25%的准确率。我遇到过模型在某个知识数据集上准确率不错，但让它解释答案就露馅了。通过率用在代码和数学任务上，比如HumanEval的pass@1，跑一次看代码能不能通过单元测试。通过率比准确率硬核，因为它要求模型产出可执行的结果。但通过率也有局限，它只告诉你“行不行”，不告诉你“错在哪”。我跑代码评测时，会额外记录错误类型分布，语法错误、逻辑错误、超时各占多少，这比单一通过率更有信息量。
Elo和胜率来自对话偏好评测。Chatbot Arena用得就是Elo。它让两个模型对同一个问题各生成一个回答，由人类或强模型来投票，谁更好谁得分。Elo的好处是能处理主观任务，不依赖标准答案。坏处是分数会波动，跟投票人群的偏好强相关。我注意到英文用户多的平台，英文回答风格更占优势。胜率是Elo的简化版，通常指模型在成对比较中赢的比例。胜率50%代表跟对手打平。综合均分是把多个数据集的分数平均一下，看起来简洁，但容易掩盖短板。一个模型数学90分、代码60分，均分75，另一个模型两项都是75，均分一样，能力结构完全不同。
加权排名更复杂。平台会给不同任务分配权重，比如知识30%、推理30%、代码40%。权重怎么定，主观性很强。我见过同一个模型在两个加权榜单上一个排前五、一个排二十，就是因为权重不同。我现在看汇总排名，会先去翻它的权重表和原始分项分数。原始分项比最终排名有用得多。就像考试总分一样，总分相同的人，各科成绩可能天差地别。选模型得看具体业务场景需要什么能力，不能光看综合排名。
3.3 代表性排行榜与平台对比：通用能力、代码、对话偏好、安全与多模态榜单
通用能力榜单里，Hugging Face的Open LLM Leaderboard最早出圈。它用MMLU、ARC、HellaSwag、TruthfulQA等几个数据集，给开源模型排座次。我早期选开源模型基本靠它。它的优点是开源、透明，评测脚本公开。缺点是数据集偏旧，容易污染，后来他们升级了v2版本，换了一些新数据集。另一个是LMSYS的Chatbot Arena，它不做标准题，而是靠人类投票排Elo。这个榜单更贴近真实对话体验，但受投票人群影响大。我一般把Open LLM Leaderboard看作“能力底子”，Chatbot Arena看作“聊天手感”，两个一起看。
代码榜单我常看两个。HumanEval的官方排行榜更新慢，但历史数据全。LiveCodeBench更新快，用最新竞赛题，污染风险小。我更喜欢LiveCodeBench，因为它按月刷新题目，模型没法提前背答案。代码榜单有个特点：分数差距往往比通用榜单大。通用榜单头部模型可能只差两三分，代码榜单能差十几分。这说明代码能力的分化更明显。数学榜单类似，GSM8K、MATH、AIME各有各的榜。AIME难度最高，区分度最好，但题目量少，分数波动大。
对话偏好榜单以Chatbot Arena为代表，它用Elo排名，还搞了不同语言、不同领域的细分榜。安全榜单相对小众，但越来越重要。SafetyBench、ToxiGen、AdvBench都有各自的排行榜，有的看拒答率，有的看毒性分数。多模态榜单这两年冒出来不少，MMMU、MathVista、MMBench测图文理解。我对比过几个多模态榜，发现评测方式差异很大。有的只让模型输出短答案，有的要求详细推理。同一个模型在不同多模态榜上排名可能差十几位。平台之间也没法直接比，Open LLM Leaderboard偏开源模型，Chatbot Arena闭源开源都有，SuperCLUE偏中文场景。选榜单得先看它覆盖什么模型、什么语言、什么任务。
3.4 如何正确阅读排行榜：区分模型规模、提示词、推理预算与评测版本
看排行榜第一步，先看模型规模。一个7B模型跟一个70B模型排在一起，排名接近，说明7B那个效率很高。可如果你直接拿7B去替代70B做业务，可能翻车。规模背后是推理成本和延迟的差异。我选模型时，会先把榜单按规模分组，在同规模里比。跨规模比较意义有限，除非你只看能力上限，不在乎成本。模型大小还影响部署方式，7B可以在单卡跑，70B得用多卡。排行榜很少标注这些工程细节，得自己补课。
提示词和推理预算对分数影响巨大。同一个模型，零样本和少样本分数能差好几个点。有的榜单统一用零样本，有的用五样本。我见过一个模型在五样本设置下排名前十，零样本掉到三十名开外。推理预算更隐蔽。有的评测允许模型用思维链，有的只让直接输出答案。用思维链的分数通常更高，但推理成本也更高。排行榜如果不标注这些设置，分数就没法横向比。我现在看任何榜单，会先找“评测设置”页面，确认提示词模板、样本数、是否允许CoT、最大输出长度。这些信息比排名数字重要。
评测版本和时间也得盯紧。同一个榜单，v1和v2的分数不能直接比。数据集换了、评测脚本改了、甚至评分标准变了，都会导致分数漂移。我见过一个模型在榜单v1上排第一，v2出来后排第十五，不是模型退步了，是榜单变难了。模型自身也在迭代。今天看的排名，下周可能就变了。我的习惯是，把排行榜当快照看，记录查看日期和版本号。做选型决策时，不会只依赖一个时间点的排名，而是看最近三个月到半年的趋势。排名上升还是下降，比绝对名次更有参考价值。
4.1 面向业务选型的基准测试实践：自定义评测集与场景化验证
拿公开榜单的分数来做业务选型，我吃过几次亏，后来就不敢直接用了。公开榜的题目偏学术，场景单一，跟实际业务差得远。你在MMLU上考了高分，不代表能搞定客服对话里的多轮追问。我现在的做法是，先用公开榜单筛出一批候选模型，然后自己搭一套小型评测集。这套评测集不用大，一两百条就够，关键是要从真实业务里来。把客服记录、产品文档、用户反馈里的典型问题抽出来，人工写好参考答案，再让模型跑一遍。这样得到的分数，参考价值比任何公开榜都高。
自定义评测集有几个要点。规模不用大，覆盖面要准。我会按业务里最常见的问题类型分层，每一类挑二十到三十条，保证每类都有代表。难度也要分层，简单、中等、困难各占一定比例。简单题看模型稳不稳，困难题看上限在哪。评分方式我倾向于人工打分加自动指标结合。自动指标跑得快，但遇到主观题容易误判。人工打分慢，但能抓住细微差别。我一般先自动跑一遍，把明显有问题的挑出来，再人工复核边界案例。
场景化验证还得多轮对话和工具调用。很多模型单轮问答表现不错，一到多轮就忘了前面说过什么。我的做法是设计几条对话链，每条五六轮，中间穿插追问和纠错。看模型能不能保持上下文、能不能顺着用户意图走。工具调用更考验实战能力。给模型一个假的天气API、一个数据库查询接口，看它会不会正确构造参数、处理返回结果。这些测试跑下来，往往会发现公开榜单上看不出来的问题。有的模型代码通过率很高，但让它调用一个API就各种格式错误。业务选型最终看的不是分数，是能不能把活干成。
4.2 模型基准测试面临的核心挑战：污染、刷榜、成本、公平性与可解释性
评测污染是我最头疼的问题。数据集公开久了，模型训练时难免见到。见过了再考，分数就虚高。我见过一个模型在某个数学数据集上分数接近满分，但换一道同类型的新题就卡壳。后来查了一下，那个数据集已经被多家模型拿去训练了。防污染没有一劳永逸的办法，只能动态换题、加密测试集、用私有数据。可私有数据又带来新问题：别人没法复现，可信度打折。公开和防污染之间，一直是个两难。
刷榜比污染更隐蔽。有的团队专门针对某个榜单调模型，把提示词、解码参数、甚至模型权重都往那个榜单上靠。分数上去了，泛化能力没变。我见过一个模型在某个排行榜上排名前五，实际用起来连基本的指令遵循都做不好。刷榜的动机很好理解，排名高好融资、好卖钱。可对使用者来说，这种分数就是噪音。判断一个分数是不是刷出来的，可以看它在多个榜单上的表现是否一致。只在一个榜上突出、其他榜平平的，大概率有针对性优化。
成本和公平性的问题经常被忽略。跑一次完整的大规模评测，电费、算力、时间都是钱。小团队根本烧不起。这就导致能上榜单的模型，往往是有资源的大厂。开源社区的小模型，即使能力不错，也可能因为没钱跑评测而默默无闻。公平性还体现在语言上。绝大多数评测集以英文为主，中文、阿拉伯语、斯瓦希里语的模型天然吃亏。用英文评测集去评一个中文模型，分数低不代表能力差，可能是它没见过那些英文题目。可解释性同样棘手。模型答对了，是因为真会还是蒙的？答错了，错在推理还是知识？现在的评测大多只给一个分数，不给诊断信息。我希望能看到更细的失败分析，比如错误类型分布、推理链哪一步断了。有了这些，选型和优化才有方向。
4.3 从静态榜单到动态评测：持续评测、红队测试与真实世界任务
静态榜单像一张照片，动态评测像一段视频。照片拍得再好，也只能反映一个瞬间。模型在变，数据在变，用户在变。我越来越倾向于持续评测的思路。不是跑一次就完事，而是定期跑、持续跑。每周或每月用新数据跑一遍，看分数是涨是跌。这种趋势比单次分数有用得多。持续评测还能发现退化。有的模型更新后，某些能力反而下降了。静态榜单不会告诉你这个，因为它只测一次。
红队测试是动态评测里最实战的一环。找一帮人，专门想办法让模型出问题。诱导它说错话、生成有害内容、泄露隐私、绕过安全限制。我参与过一次小规模红队，发现模型在正常对话里表现很好，但一遇到角色扮演加情感操控就守不住底线。红队测试的成本高，需要人工设计攻击策略。可它发现的问题，常规评测根本测不出来。自动化红队也在发展，用模型攻击模型，效率高一些，但攻击的创意和深度还是不如人。我的建议是，关键业务上线前，至少做一轮人工红队，哪怕规模小一点。
真实世界任务比任何合成评测都难。我试过让模型处理真实的用户工单，发现合成数据集忽略了很多脏数据。用户输入有错别字、有情绪化表达、有前后矛盾的信息。模型在干净数据上表现好，不代表能处理这些。我现在会收集一批真实任务，带标注、带上下文、带噪声，作为最终验证集。真实任务的评测周期长，标注成本高，可它最接近实际使用场景。静态榜单用来初筛，动态评测和真实任务用来做最终决策。两层筛选下来，选错的概率小很多。
4.4 模型基准测试的未来方向：多模态、智能体、长上下文与标准化治理
多模态评测是接下来绕不开的方向。文本评测已经相对成熟，图像、音频、视频的评测还在早期。我看过几个多模态榜单，评测方式各不相同。有的只测图像描述，有的测视觉问答，有的测图表推理。同一个模型在不同榜单上排名差异很大，因为评测任务不一样。多模态评测的难点在于，答案的自由度更高。一张图可以有一百种正确的描述，怎么打分是个问题。基于规则的匹配太死板，用模型当裁判又引入新的偏见。这个领域还需要更多共识。
智能体评测是另一个前沿。以前的评测是单轮问答，给问题要答案。智能体评测是多步任务，给目标让模型自己规划、调工具、执行、调整。比如订机票、写代码修bug、做数据分析。这类评测更接近真实工作流，但设计难度也大得多。任务怎么定义、成功怎么判断、中间步骤怎么评分，都是开放问题。我试过让模型完成一个简单的网页爬取加数据整理任务，发现它在步骤切换时容易迷失，忘了最终目标。智能体评测需要新的指标和新的数据集，不能简单套用问答评测的框架。
长上下文评测的需求在增长。模型号称支持一百万字上下文，实际能记住多少、能用好多少，需要专门测。我做过小实验，把一份长文档塞给模型，然后问文档末尾的细节。有的模型能答对，有的前面看后面忘。长上下文评测要测几个维度：信息检索、多跳推理、全局摘要、位置偏差。现在的评测集大多不够长，也不够复杂。标准化治理是更宏观的议题。评测标准谁来定、怎么更新、怎么保证公平，这些问题没有简单的答案。我期待看到更多跨机构的标准协作，让评测结果更可比、更可信。榜单会一直存在，但榜单背后的方法论和治理机制，决定了它值不值得信。
