1.1 图表理解模型的任务定位与应用场景
我接触图表理解模型评测，最早是从一个报表自动问答项目开始的。业务方丢过来一张柱状图，希望模型直接回答“哪个季度最高”“同比变化多少”。这类需求让我意识到，图表理解模型不是单纯的OCR升级版，它要读图、认数、理解坐标轴和单位，还要把视觉信息转成可回答的语言。我的任务定位很直接：模型要能看图表、提数据、做解释，评测要围绕这些能力展开。
从应用场景看，我把图表理解分成几类。一类是办公和商业分析，用户上传财报截图或运营看板，模型给出摘要和问答；一类是教育科研，学生或研究者用模型读取论文图表；还有一类是公共服务和新闻解读，模型帮助普通用户理解统计图。不同场景对准确率、解释性和响应速度的要求不一样，评测设计不能只盯一个分数。
我常跟团队说，任务定位不清楚，评测就会跑偏。图表理解模型评测要先把“图表理解”拆成可观察的行为：识别图表类型、定位数据点、读取数值、回答比较问题、生成趋势描述。这些行为对应不同应用价值。我在项目里会先问业务方最怕模型错在哪里，再决定评测重点放在数值精度还是语义表达。
1.2 图表理解模型评测的核心目标与边界
我理解的核心目标，是让评测回答三个问题：模型能不能准确读出图表信息，能不能在图表语境里推理，能不能稳定地输出用户需要的结果。我会把准确率、数值误差、回答完整性和鲁棒性放在一起看。单一指标容易掩盖问题，比如模型答对了“上升”，数值误差也可能很大。
边界也很重要。图表理解模型评测不覆盖所有视觉问答，也不等于通用多模态能力评测。我把它限定在图表类视觉输入和图表相关问题上，重点考察数据抽取、图表问答、摘要生成、趋势分析和简单因果推理。超出图表范围的任务，我会交给其他评测体系。这个边界能帮团队控制评测成本，也能让结论更可解释。
我在实际项目里会写清楚“不测什么”。不测模型的通用对话能力，不测纯文本推理，不测与图表无关的图像识别。边界清楚以后，评测报告更容易被业务方理解。我还会把边界和风险一起写，提醒使用者模型在复杂图表、模糊图像和小样本场景下可能失效。
1.3 多模态大模型时代图表理解评测的新挑战
多模态大模型进来以后，图表理解评测的难度明显上了一个台阶。模型能直接看图说话，输出很流畅，流畅背后可能有数值幻觉。我见过模型把图例颜色说反，也见过它把坐标轴单位忽略掉。评测要能抓住这些细粒度错误，不能只看最终答案像不像。
新挑战还来自任务形态。用户不再只问“最大值是多少”，他们会问“为什么这个趋势在第三季度反转”“如果剔除异常值结论会怎样”。这类问题要求模型做跨模态对齐和推理。我在设计评测时会加入扰动样本、反事实问题和复合图表，观察模型是否真正理解图表结构。
另一个挑战是数据污染和基准饱和。公开图表问答数据集可能被模型见过，排行榜分数高不代表真实场景好用。我倾向于用动态构建的评测集和领域内私有样本做补充。评测框架要能持续更新，跟上模型能力和用户需求的变化。
1.4 本文评测框架与分析路径说明
我在这篇文章里采用的评测框架，按“任务—数据—指标—实验—建议”这条线展开。任务层界定图表类型和能力维度，数据层说明数据集构建和质量控制，指标层覆盖自动化指标与人工评估，实验层讲零样本、少样本和微调场景的对比。我的分析路径从能力拆解进入，经过数据选择与指标设定，落到实验流程。
我会尽量把每个环节的可操作细节写出来。比如图表类型怎么覆盖，答案唯一性怎么检查，LLM-as-judge 在什么条件下可用。我也会写清楚哪些结论有统计支撑，哪些只是实践观察。读者可以按自己的场景裁剪这套框架，不必照搬。
我的目标是让这套框架既服务研究评测，也服务业务选型。研究者能拿它设计基准，开发者能拿它做模型诊断，业务方能用它判断模型是否可用。后面几章我会围绕这个路径逐层展开，给出可复用的评测方法和实践建议。
2.1 图表类型覆盖：柱状图、折线图、饼图、散点图与复合图表
我刚开始搭评测集那会儿，图省事，清一色用柱状图。跑了两轮就发现不对劲，模型在柱状图上分数挺好看，换成折线图立马露怯，问它“哪段区间增速最快”，它能给你答成“最高点在哪”。从那时候起我就认准一个理：图表类型不铺开，评测结论就是片面的。柱状图考的是类别比较和数值读取，折线图盯的是趋势走向和拐点识别，这两类看着像，实际考察的能力点差得挺远。
饼图我单独拎出来说，因为它太容易被模型糊弄了。模型看饼图经常靠扇形面积估比例，估出来的数跟标注值能差出十几个百分点。我在设计样例时会故意放一些角度接近的扇区，比如25%和30%挨着，看模型能不能靠图例或标注区分开。散点图更麻烦，它涉及分布形态和相关性强弱的判断，模型得理解“点越密集在回归线附近说明什么”这种统计常识，不是光数点就完事。
复合图表是我重点加进去的类型。现实场景里，柱状图叠折线图、双Y轴、子图并列到处都是，用户不会只拿一张干净的单图来问。我设计复合图表样例时，会刻意让不同子图之间有关联，比如上面是月度销量柱状图，下面是退货率折线图，然后问“哪个月份销量高但退货率也高”。这种题模型光会读单图不够，得把两幅图的信息在脑子里拼起来。我试过几个开源模型，在这类题上错误率明显跳升，说明复合图表确实是个能力分水岭。
2.2 任务类型划分：数据抽取、图表问答、摘要生成、趋势分析与因果推理
任务类型这块，我按认知复杂度从低到高排了个序。数据抽取是最底层的，给一张图问“第三根柱子对应数值是多少”，模型只要定位准、读对刻度就行。我在评测里发现，很多模型在数据抽取上栽跟头不是因为看不懂图，而是坐标轴起点不是零的时候，它按零起点去估，误差一下就大了。这个细节提醒我，数据抽取任务得覆盖非零起点、对数刻度、断轴这些特殊情况。
图表问答比数据抽取高一档，它要求模型在读数基础上做比较和简单计算。比如“A和B的差值是多少”“增长最快的是哪两类”，模型得先抽数再运算。我设计问答样例时会有意加入干扰项，比如问“第二季度比第一季度增长了多少”，图里却放了同比和环比两条线，看模型能不能选对数据系列。摘要生成又是另一回事，它考的是模型能不能把图表核心信息用自然语言组织出来，重点在完整性和简洁性，不在逐点复述。
趋势分析和因果推理是我放在最上层的任务。趋势分析要求模型描述整体走向、识别拐点和周期性，因果推理则更进一步，问“为什么第三季度出现下跌”这种需要结合图外知识或常识判断的问题。我得承认，因果推理的评测最难做，因为答案不唯一，模型说“可能因为促销结束”也不能算错。我的处理办法是把这类题设计成半开放形式，给出几个合理方向让模型选择并说明依据，评分时看它选的依据跟图表信息是否自洽。这样既考察了推理能力，又避免了标准答案的僵化。
2.3 能力维度拆解：感知识别、数值理解、关系推理与跨模态对齐
能力维度我拆成四层，从感知识别到跨模态对齐，一层比一层抽象。感知识别是地基，模型得先认出这是柱状图还是折线图，找到坐标轴、图例、标题的位置。我评测时会专门统计模型在图表元素定位上的准确率，因为这一步错了后面全错。有次我发现一个模型把图例里的“销售额”和“利润”颜色搞反了，导致后面所有问答全盘皆输，这种错误在端到端指标里根本看不出来，必须单独拆开评估。
数值理解是第二层，核心是刻度读取和单位换算。我设计了一个小实验，同一组数据分别用千元和万元做单位，看模型能不能正确换算。结果挺意外，部分模型在万元单位下误差明显放大，说明它对数量级的敏感度不够。数值理解还包括百分比和绝对值的区分，饼图里问“占比多少”和柱状图里问“增量多少”，模型得清楚自己在算哪种量。
关系推理考的是模型对图表内部逻辑的把握，比如趋势的单调性、类别间的排序关系、多系列之间的相关性。我常用的一种题型是给一张多系列折线图，问“哪两个系列的变化趋势最一致”，模型得逐段比较斜率方向。跨模态对齐放在最上层，它要求模型把视觉信息和文本问题精准匹配，既不能漏看图表里的关键元素，也不能被问题里的无关描述带偏。我评测跨模态对齐时喜欢用长问题，问题里塞一些图表中不存在的条件，看模型会不会被误导去编造答案。这四个维度我在报告里分开列，业务方一眼就能看出模型短板在感知还是在推理。
2.4 任务难度分层与评测样例设计原则
难度分层我按三个维度来定：图表复杂度、问题复杂度和推理深度。简单层是单图单系列、问题直白、答案唯一，比如“柱状图里最高的是哪个类别”。中等层加入多系列、非零起点、需要两步计算的问题。困难层上复合图表、多轮追问、答案需要结合图表外常识。我分层不是为了贴标签，是为了让评测报告有梯度，能看出模型能力边界到底卡在哪一层。
样例设计上我坚持几条原则。第一条是答案唯一性，凡是能设计成唯一答案的题，绝不做开放题。比如“极差是多少”比“描述数据分布”好评分得多。第二条是干扰项可控，每道题只考一个核心能力点，其他因素尽量标准化。我会把同一张图配不同难度的问题，形成题组，这样模型在同一视觉输入上的表现差异就能归因到问题难度而不是图表本身。
第三条原则是样例要贴近真实使用场景。我见过一些评测集为了追求难度，故意用低分辨率截图、严重旋转的图表，这种题测出来的是模型抗噪能力，不是图表理解能力。我的做法是把噪声因素单独做一组鲁棒性测试，主评测集保持图像清晰、标注规范。第四条是覆盖均衡，每种图表类型、每个任务类型、每个能力维度都得有足够样例支撑统计结论。我一般要求单个细格不少于三十道题，不然算出来的准确率波动太大，没法下判断。这些原则执行下来，评测集规模会膨胀不少，但换来的是结论可靠，我觉得值。
3.1 图表理解模型评测数据集与基准的构建流程
我做第一个图表评测集的时候特别天真，觉得不就是找一堆图配上问题嘛。等真正动起手来才发现，从零搭一套能用的基准，工作量远超想象。我们那会儿的流程大致是这么走的：先做需求拆解，明确这次评测到底要测什么能力、覆盖哪些图型，列一张表出来；接着分两路搞图，一路从公开财经新闻和论文里爬真实图表，一路用脚本渲染合成图表；图凑齐了再设计问题，同一张图通常配三到五条问题，按难度递增；然后是标注和审核，最后冻结版本、写说明文档。
图源这块我踩过的坑值得说说。爬真实图表听着美好，实际上一张新闻截图里经常混着logo、水印、异常字体，分辨率还参差不齐。我们第一版抓了大概六千张，人工过了一遍，能直接用的不到四成，剩下的要么裁切、要么重绘。合成图表可控性强，可它有个致命弱点：模型见多了matplotlib那种蓝红绿配色，一到真实商业报表就懵。我后来的做法是真实图和合成图六四开，合成图里刻意混入Excel默认配色、Tableau风格和手绘风，让模型别养成审美惯性。
问题设计环节我坚持一个笨办法：每道题先自己回答一遍，再把题交给同事盲测。我俩答案不一致或者解题思路不同的题，当场毙掉。这个办法效率不高，可它能筛掉大量含糊题。有次我出了道“哪年增长最猛”，图里刚好有两年增速接近，我和同事一个按绝对增量算、一个按百分比算，吵了十分钟才反应过来题目本身有歧义。这类题放进评测集就是定时炸弹。流程走到今天，我的体会是构建环节里最值钱的不是图的数量，是题目的定义清晰度。
3.2 经典图表理解数据集与多模态图表基准梳理
公开数据集我几乎翻了个遍，印象比较深的几个各有各的脾气。PlotQA算是老资历了，图的风格偏合成、问题模板化痕迹重，拿它做预训练数据挺合适，做最终评测就偏简单。FigureQA的问题基本是二分类的是非题，模型哪怕瞎猜也有一半概率对，我一般不拿它做主力基准。DVQA关注的是柱状图标签层面的理解，对细粒度数值读取有考察价值。ChartQA是我用得最多的一个，它的问题分人工编写和增强生成两路，人工部分质量稳定，增强部分偶尔会出现答案和图表对不齐的情况，用的时候得抽检。
中文图表这块资源明显薄一些。我找过几个国内团队放出来的基准，规模和英文比差着一个量级，图型集中在柱状图和折线图，复杂图表少。跨语言评测时我会专门做一版中文问题集，翻译加人工改写，避免机翻留下的语病干扰模型。Chart-to-Text系列偏向摘要生成任务，考察的是把图表讲清楚的能力，它的问题答案往往是长句，评起来得靠BLEU、ROUGE这类文本指标，跟数值型任务不是一个评价逻辑。
近两年冒出来的ChartBench、CharXiv、MathVista里的图表子集，方向明显往难里走。CharXiv用的大多是学术论文里的真实图表，图注复杂、子图多，模型光靠看图不够，还得理解论文语境。MathVista把图表嵌进数学题里，考的是多步推理。我试用下来的感受是，这些新基准单个样本的信息密度比早期数据集高不少，代价是评测成本也上去了，一道题人工核验要花好几分钟。选哪个基准，得看你愿意为“难而真”付多少代价。
3.3 数据覆盖性评估：图表样式、语言、领域与复杂度
数据覆盖性这事，我是被自己的模型分数骗过之后才真正上心的。第一版评测集里柱状图占了六成以上，模型跑出来准确率七十二，我挺得意。后来业务方拿了一批双Y轴折线图来问效果，模型直接掉到四十出头。那次之后我在覆盖性评估里加了四个维度：图表样式、语言、领域、复杂度，每个维度都做占比统计，偏科严重的格子必须补样。
样式维度不光是图型，还有配色、字体、有无网格线、坐标轴标注位置这些细节。我做过一个对比实验，同一组数据分别用深色背景浅色柱子和浅色背景深色柱子渲染，部分模型的读数误差差了将近一倍。语言维度上中英文都得覆盖，图表里的图例、标题、单位描述都是语言相关的。领域维度我按金融、科研、新闻、教育、电商五类分，每个领域至少保证五百道题。复杂度维度按前面说的三层难度来分，简单、中等、困难的比例我一般定在三比五比二。
我有个习惯，每补一轮数据就重新算一遍分布，画个热力图看哪块还是空白。有次发现散点图的困难题几乎为零，回头一查是标注团队觉得这类题不好判分，下意识跳过了。这种人为偏差特别隐蔽，不盯着分布看根本发现不了。覆盖性评估的价值不在数字好看，在于让你在跑模型之前就知道评测结论会在哪儿站不住脚。
3.4 数据质量控制：标注一致性、答案唯一性与数据污染防范
标注一致性是我最头疼的环节。早期我们三个人标同一批图，标完一算Kappa系数只有零点五几，低得吓人。复盘下来问题出在评分标准模糊，比如“趋势描述是否完整”这条，有人觉得提到拐点算完整，有人觉得得说清周期性才行。后来我把评分细则拆成一条条可勾选的清单，标完再做交叉复核，两轮下来一致性提到了零点八。标注这活儿真不能图快，标得快往往意味着标准没吃透。
答案唯一性我前面提过，这里补个具体教训。我们有一批题问“销售额最高的季度情况如何”，答案写的是“Q4表现最好”，结果模型回答“第四季度销售额达到峰值，环比增长明显”，判分脚本判它错。问题出在答案设计得太窄。我的改法是凡是描述型题目，答案列出三到五个可接受的等价表述，判分时做关键词和语义双重匹配。数值型题目反倒好办，唯一答案加容差区间就解决了。
数据污染防范这两年越来越重要。我的做法是给每张图生成哈希指纹，定期和主流开源模型的训练数据做比对，发现重合就剔除。问题防不胜防，有些模型训练语料里混进了ChartQA的测试集，跑分虚高。我们还做过一次n-gram重叠检测，发现一部分问题和网上流传的评测样例几乎一字不差。现在我要求新数据集发布前必须做三轮污染扫描，这步做在前头，后面写评测报告才有底气。
3.5 基准选用策略与不同评测场景的匹配方法
基准选用没有万能公式，得看你想回答什么问题。做模型迭代内测，我会挑难度分层清晰、题量适中的基准，跑得快、反馈及时，ChartQA加自建中文集就够用。做对外发布的横向对比，就得用社区认可度高、防污染做得好的基准，CharXiv这类新基准虽然贵，说服力强。做行业落地评估，公开基准只能当参考，必须配上业务场景自建集，金融报表和电商看板的图表分布差太远。
我参与过一个客服场景的图表评测项目，对方拿来的图全是内部BI系统导出的，配色、图例位置、单位写法跟公开数据集完全两码事。我们一开始直接用ChartQA跑，分数挺高的，实际部署后问答准确率一塌糊涂。后来重新标了八百道业务真题做基准，才发现模型在双轴图和堆叠柱状图上错误率超过一半。这个案例让我认定一件事：公开基准测的是通用能力，业务基准测的是可用性，两者不能互相替代。
匹配方法上我总结了个简单的判断框架。任务类型以数值抽取为主的，优先选带精确标注和容差设计的基准；任务偏摘要生成的，选配对文本质量高的基准；要考察跨图表推理的，复合图表占比高的基准才有区分度。预算有限时我的建议是公开基准跑三到四个做交叉验证，自建集按业务场景重点补两到三个能力维度，别贪多。基准选得再多，最后落到决策上的往往就是那几个关键指标，与其铺开不如做深。
4.1 多模态大模型图表理解评测指标与方法总体框架
做评测指标这件事，我越来越觉得它像给模型做体检。你不能只量身高体重，还得查血象、看反应速度。图表理解这块尤其麻烦，模型输出的东西五花八门，有蹦一个数字出来的，有写一大段分析的，还有把图和表混着讲的。我刚入行那会儿想简单了，拿个准确率就往上套，结果被一堆格式对不上、答案意思对了但表述不一样的情况搞得灰头土脸。
后来我慢慢理出一个三层框架。底层看感知与识别，模型有没有认出图里画的是柱状还是折线、轴标签有没有读对；中间层看数值与关系，抽取的数字准不准、趋势判断对不对；顶层看生成与推理，摘要讲得清不清楚、因果链条顺不顺。这三层不是并列关系，前一层错了后一层基本没戏，所以我习惯逐层跑分，哪层掉链子一目了然。
框架定了之后还得配方法。我的做法是自动指标打底、人工抽检校正、专项测试补漏。自动化跑全量，速度快、可复现；人工抽一部分做金标准，校准自动指标的偏差；扰动测试和反事实样本单独拎出来，测的是模型稳不稳。这三块拼在一起才算完整，缺了哪块我心里都不踏实。有次我偷懒跳过了人工抽检，自动指标显示模型图表问答准确率涨了六个点，高兴了没两天，业务方反馈说模型开始瞎编图里没有的数据——自动判分把“看起来像答案”的胡说八道也给放过去了。
4.2 自动化指标：准确率、数值误差、结构化匹配与文本生成指标
准确率是我用得最顺手的指标，简单直接。分类式问题、是非题、单选题，一个准确率就能说清楚。我一般会同时报整体准确率和分题型准确率，整体分高但某类题分低的情况太常见了。有回模型总准确率七十多，拆开一看数据抽取类八十多，因果推理类才四十出头，光看总数根本发现不了这个偏科。
数值类题目不能只看对错，得看差多少。我习惯用相对误差和绝对误差两个口径，再设一个容差区间。模型回答“大约百分之三十五”和精确到小数点后两位的“百分之三十四点七”，在图表问答里我觉得都算对，容差设百分之二到五比较合理。容差设太严，模型会被判错一堆本来能用的答案；设太松，又把瞎蒙的放过去了。这个度我调过好几轮，最后按业务场景定：财务类紧一点，趋势描述类松一点。
结构化匹配这块主要针对表格输出和图表摘要。模型抽出来的数据要能跟参考答案在结构上对齐，行列对不对、单位有没有、排序一致不一致。我做过一个实验，让模型从堆叠柱状图里抽明细，同样的数据，模型有的按行输出有的按列输出，直接字符串比对全判错。后来改成先解析成字典再逐键比对，分数才合理了。文本生成指标我用BLEU和ROUGE打底，可心里清楚它们的局限——意思对但用词不一样的回答，这些指标给分偏低。我的处理办法是文本指标只当参考，权重压低，主要靠语义相似度模型再判一道。
4.3 推理与鲁棒性评估：扰动测试、反事实样本与跨图表泛化
扰动测试是我最看重的环节之一。做法很简单：拿同一张图，改配色、换字体、调分辨率、加噪点，看模型分数掉多少。我试过把一张干净的折线图做了六种扰动，有的模型在低分辨率下数值读取错误率直接翻倍，有的模型对配色不敏感但对旋转特别脆弱。这种测试能挖出模型在实验室跑分里看不见的短板。
反事实样本更有意思。我会在原图基础上改一两个数据点，让趋势反转或者让最大值换人，然后看模型是不是还在用原来的套路答题。有次我做了批把柱状图最大值从Q3挪到Q1的样本，一个模型有超过三成的回答还在说Q3最高，明显是记住了图表模板而不是真在读图。这类测试代价不高，信息量很大，我现在每轮评测都固定放一批进去。
跨图表泛化测的是模型能不能把一种图上学到的理解迁移到另一种图。我常用组合是柱状图训练、折线图测试，或者简单复合图训练、复杂复合图测试。实际跑下来模型在这块表现普遍偏弱，尤其从单图到多子图、从静态到带注释的图表，掉分很明显。我的判断是这块能力目前还是分水岭，通用榜单上分数接近的模型，跨图表泛化一测就能拉开差距。
4.4 人工评估与模型辅助评估：LLM-as-judge 的适用性与风险
人工评估我始终留着一席之地。自动指标再完善，碰到开放式摘要、多步推理、图表故事讲述这类任务，还是得人来看。我组织过几轮人工评分，每轮两百到三百条样本，三个评分员独立打分再取一致性。成本确实高，一条样本从读题、看图到打分平均两三分钟，可它换来的是对自动指标的校准依据。没有人工金标准兜底，自动分数涨跌我都不敢全信。
LLM-as-judge这两年用得多起来了，我也试过。拿一个能力更强的模型来给被测模型的回答打分，覆盖率高、速度快，在判断“回答是否切题”“数值是否一致”这类相对客观的维度上表现还行。我做过对比实验，让GPT-4类模型给三百条图表问答打分，和人工评分的一致率大概八成出头。这个数字能用，但绝不能当唯一依据。
风险主要来自三块。评判模型自己可能读错图，尤其复杂复合图表，它判别人错的时候自己也在犯错。评判模型有位置偏见和长度偏好，回答写得长、格式漂亮就容易得高分，哪怕内容有硬伤。评判模型和被测模型如果同源，打分容易偏松。我的用法是把LLM-as-judge定位成预筛选和批量粗筛工具，高分低分两端自动处理，中间灰色地带的样本送人工复核。这样既省了人力，又保住了准确性。
4.5 可解释性、可信度与统计显著性分析方法
可解释性评估我主要看两件事：模型能不能说清楚自己是怎么得出答案的，以及它给出的解释和实际读图过程对不对得上。做法上我会让模型在回答后面附推理步骤，然后人工检查步骤里引用的数据点、坐标轴、图例是不是真的存在。碰到过模型解释写得头头是道，回头一看引用的数值图里压根没有，典型的编造推理。这种样本我会单独标记，算进“解释不可信”的比例里。
可信度评估我更关注模型会不会过度自信。具体做法是让模型对每个回答给一个置信度，然后看置信度和实际正确率是否匹配。一个模型说自己九成把握的题，实际对了多少，这个差值就是校准误差。我测过几个模型，有的校准做得不错，高置信区间准确率确实高；有的就虚得很，confidence 全场飘红，正确率该多少还多少。图表理解场景里这个问题特别要命，业务方看到模型很自信地回答一个错数字，比模型说“我不确定”危险得多。
统计显著性这块我踩过坑。早期拿两个模型分数一比，差两个点就宣布谁赢，后来被提醒样本量不够、置信区间重叠，结论根本站不住。现在我的习惯是每个指标都算置信区间，模型对比做配对检验，报告里写清楚样本量和显著性水平。小样本评测我尤其谨慎，两百条以下的测试集结论只当参考，不当定论。还有个细节是多次运行的方差，有些模型温度参数一调分数波动很大，单次跑分说明不了问题，我一般固定随机种子跑三到五次取均值。这些统计功夫看着琐碎，可它决定了你写出来的评测结论是铁证还是笑话。
5.1 实验设置：模型选择、基线构建与提示策略设计
搞评测实验这件事，我踩的最大的坑就是一开始没想清楚模型怎么选。手头能跑的模型太多了，开源的一抓一大把，闭源API又各有各的脾气，全上吧成本扛不住，挑几个吧又怕漏了关键角色。后来我给自己定了个规矩：选模型先看评测目标，测通用能力就挑参数规模跨度大的一批，从七B到七百B都覆盖；测落地可行性就挑业务侧真会用的那几款，别整一堆永远上不了线的玩具。
基线构建这块我也交过学费。最开始我只放一个随机基线，心想模型再差总比乱猜强吧，结果跑出来发现好几个模型在某些子任务上真跟随机猜差不多，这时候光有随机基线只能告诉你“不太行”，但说不清到底差在哪。我现在的做法是三层基线打底：随机基线兜底、规则模板基线做参照、小规模微调模型当上限。规则基线看起来土，可它能把“模型不如模板”这种尴尬情况暴露出来，这比单纯报个准确率有信息量多了。
提示策略设计是我花时间最多的地方。同一张图同一个问题，换个问法模型分数能差出十个点。我习惯先做一轮提示敏感性实验，把零样本直接问、思维链引导、few-shot示例、角色设定这几套都跑一遍，看看模型对哪种风格最买账。有个经验挺好使：图表类任务里，让模型先描述图里有什么再回答具体问题，比直接怼问题准确率高不少。提示词我一般固定三到五套，后续所有模型都用同一套模板，避免提示差异污染模型对比。
5.2 零样本、少样本与微调场景下的对比评测
零样本评测是我每次必跑的第一轮。图的就是干净，模型没见过这类样本、没针对性地调过，跑出来什么水平就是什么水平。我一般用统一的指令模板，不给任何示例，看模型能不能靠预训练里积累的图表理解能力直接上。实际跑下来差距挺大的，有些模型零样本就能读懂简单柱状图，有些模型连轴标签和数值对应关系都搞不清楚。
少样本这块我会设几个梯度。五个示例、十个示例、二十个示例各跑一组，看模型是不是给点示例就涨分。有意思的是不是所有模型都吃这一套，有的模型给两三个示例就明显起量，再多反而干扰；有的模型给到二十个还在缓慢爬坡。我在报告里会专门标出“示例饱和点”，就是再加示例分数不怎么动了那个位置，这个信息对实际部署很有参考价值，业务方知道拿多少标注数据就够了。
微调场景的对比评测最费劲也最有说服力。我一般选两三个开源模型做全参数微调或者LoRA，训练集和测试集严格分开，测试集里还特意混入训练时没见过的图表样式和题型。微调前后一对比，能看出模型到底是真学会了读图，还是只记住了训练集的答题套路。我印象很深的一次，一个模型微调后在同分布测试集上涨了十五个点，可换到新图表样式上只涨了三个点，这种“虚胖”在端到端落地时是会出问题的。
5.3 错误类型分析与细粒度诊断方法
分数出来只是开始，真正有价值的是往下挖错误。我习惯把错误按来源分几大类：感知错误、数值读取错误、推理错误、格式错误、拒答。感知错误就是压根没认对图表元素，比如把堆叠柱状图某个色块对应的数值全算错了；数值读取错误是认对了位置但数字读偏了，常见于坐标轴刻度密集或者对数轴场景；推理错误是数据都拿到了结论却推反了；格式错误倒不一定是理解问题，输出结构不符合要求也会被判错，这类我会单独拎出来避免冤枉模型。
细粒度诊断我靠的是错误矩阵。横轴放任务类型，纵轴放图表类型，每个格子里填错误率和主要错误类型。这张表一看就知道模型在哪个交叉点上最拉胯。我跑过一轮，发现某模型在简单柱状图数据抽取上错误率不到五个点，到了复合图表趋势推理直接飙到六十多，而且错误类型以感知错误为主——它根本没法把子图之间的关系理清楚。这种定位比笼统说“模型在复杂图表上表现不佳”有用太多了。
还有一类诊断是做对照实验。同一道题改一个变量，看分数怎么动。比如把图例挪个位置、把数据点数量从五增加到十五、把中文标签换成英文，每变一个都单独跑。我管这叫“单因子扰动诊断”，做起来机械但结论特别扎实。有一回我发现某模型对图例位置极其敏感，图例放右边没问题，放底部准确率掉十几个点，回去查它的注意力分布才发现模型严重偏向右侧区域，这个发现后来直接指导了提示词里加位置描述信息的改进。
5.4 评测可复现性、报告规范与排行榜机制
可复现性这件事我吃过亏才长记性。早期跑完评测，过两个月想复现一个数，发现提示词改过了、随机种子没记、模型版本也不知道是哪个快照，折腾半天对不上号。现在的规矩是每次评测固定记录五样东西：模型完整标识和版本号、提示词全文、推理参数（温度、top_p、最大长度这些）、随机种子、评测脚本和数据集版本哈希。这些东西我要求写进报告附录，别人拿过去能原样跑通才算数。
报告规范我参考了学术论文和自己内部模板的结合。核心指标必须报置信区间和样本量，分项指标不能只报最好的那个子项，得把短板也亮出来。我特别反感一种写法：只挑涨了的指标写，跌了的指标说“受限于篇幅不展开”。这种报告看着漂亮，实际用起来全是坑。我自己的报告里会专门留一栏写“负面发现”，就是跑出来但跟预期不符的结果，这些信息对后续实验设计往往比正面结果更值钱。
排行榜机制我用得比较克制。公开榜单的好处是横向可比、社区推动力强，坏处是容易过拟合，模型团队盯着榜单选型优化，刷分手段层出不穷。我内部用的排行榜会加两条硬规则：一是提交时必须附上错误分析报告，光交分数不收；二是榜单每季度换一批隐藏测试样本，防止模型针对公开样本过拟合。这两条一加，榜单的真实参考价值高了不少，靠刷分冲上来的模型在隐藏集上很快现原形。
5.5 面向实际应用的端到端评测流程设计
端到端评测跟实验室评测最大的区别是，你不能只看模型输出对不对，还得看它在整个业务链路里跑不跑得通。我在设计流程时会把评测拆成三段：输入侧评测看模型对真实场景图表的适应能力，比如手机拍的屏幕截图、压缩过的PDF导出图、带水印的扫描件；输出侧评测看模型回答能不能被下游系统直接消费，结构化字段有没有、单位对不对、精度够不够；交互侧评测看多轮追问下模型能不能保持一致性，前面说Q3最高后面又说Q1，这种自相矛盾在业务场景里是致命的。
流程设计上我习惯画一张泳道图，把数据准备、推理调用、结果解析、指标计算、人工复核几个环节的负责人和产出物标清楚。听起来像项目管理的事，可真跑起来你会发现评测失败十有八九不是模型不行，是流程某处掉了链子——数据版本拿错、解析脚本没处理异常输出、指标口径跟上周不一致。这些问题在实验设计阶段看不出来，端到端跑一轮全冒出来了。
最后一环是评测结论到业务决策的映射。我一般会给每个指标设三档阈值：绿灯可直接上线，黄灯需要人工兜底，红灯回炉优化。阈值不是拍脑袋定的，是拿历史业务数据和人工基线倒推出来的。还有个小细节，我会在端到端报告里附上几条典型成功和失败案例的完整截图与对话记录，决策者看十条指标不如看三个真实案例来得直观。这套流程跑顺了之后，评测从“发个分数”变成了“给个判决”，业务方拿着报告就能拍板，不用再来回追问“这分数到底算好算坏”。
6.1 当前评测中的主要挑战：复杂图表、跨模态推理与数据污染
复杂图表这块我真是又爱又恨。爱的是它贴近真实业务场景，恨的是每次评测跑出来的结果都让人血压升高。简单柱状图折线图模型已经玩得挺溜了，可一碰到复合图表——比如一张图里嵌了三个子图、带双Y轴、还有堆叠和分组混着来的那种——模型就开始胡言乱语。我印象很深的一次测试，给模型一张带双坐标轴的组合图，左边轴是销售额右边轴是增长率，问它“第三季度增长率是多少”，模型直接给我把左边轴的销售额读数报上来了，还特别自信。这种错误根本不是数值读偏了一点点，是压根没理解两根轴各自管什么。多子图之间的逻辑关系也是重灾区，模型经常把子图A的结论安到子图B头上，问它“哪个月份两个指标同时最高”，它能把不同子图的最高点拼在一起给你编个答案。
跨模态推理的挑战比我想象中更隐蔽。图表理解不是单纯把图里的文字读出来再算数，它要求模型在视觉元素、数值刻度、文字标注三者之间来回对齐。我做过一个实验，把同一组数据的柱状图和折线图放在一起让模型比较趋势，按理说数据完全相同结论应该一致，结果模型在柱状图上说“增长平稳”在折线图上说“波动剧烈”，明明是同一组数。这说明它根本没在做真正的数值理解，更像是在做视觉模式匹配——看到折线陡峭就觉得波动大，看到柱子高度差不多就觉得平稳。这种“视觉捷径”在简单场景能蒙对，稍微换个图表样式就现原形。跨模态对齐还牵扯到单位换算和量纲问题，比如图里标注的是“万元”但提问用的是“元”，模型十有八九直接忽略单位差异按数字硬算，这种错误在财务和科研场景里是致命的。
数据污染是我现在最警惕的问题。公开基准跑了几年下来，测试集多多少少已经渗进预训练语料了，有些模型在ChartQA上分数高得离谱，换一个内部构建的同类测试集立刻掉二十个点。更麻烦的是污染往往很隐蔽，不是整道题原样出现在训练数据里，而是图表图片被重新渲染过、问题被改写过，但底层数据和答案没变。我现在的做法是每次评测都掺一批自己拍的、自己画的图表进去，样式故意做得不那么“标准”——加个水印、换个配色、用手机拍屏幕再截个图。这批样本的分数跟公开集分数一对比，差距在五个点以内我才认公开集的成绩。还有个土办法但挺管用：让模型回答“这张图你之前见过吗”，虽然模型不一定说实话，但结合它在新旧样本上的表现差异能看出不少端倪。
6.2 动态图表、交互式图表与多轮图表问答的评测需求
静态图表还没整明白呢，动态图表已经杀过来了。现在很多业务仪表盘是带动画过渡的，柱状图会从零长起来、折线图会一段段画出来，模型面对这种动态输入的表现我几乎没看到有人系统测过。我自己搭了个简易测试环境，把同一组数据的静态图和动态图分别喂给模型，发现有些模型在动态图上反而表现更好——我猜是因为动画过程中每一帧的视觉信息更简单，模型更容易聚焦。但更多模型在动态场景下直接崩了，有的把过渡帧当成了真实数据点，问它“最终各季度数值是多少”，它把中间态的数也报出来。交互式图表更麻烦，用户点一下图例隐藏某个系列、拖一下滑块缩放到某个时间段，模型得理解“当前视图”到底在展示什么。我试过用截图序列来模拟交互过程，让模型回答“用户隐藏了哪条数据线之后哪个类别变成了最高”，这一步跨了状态理解和时序推理两个坑，目前主流模型全军覆没，没一个能稳定答对。
多轮图表问答的评测需求也在涨。真实场景里用户很少只问一句就完事，更多是“这张图里A和B哪个高”→“那C呢”→“把三个放一起排个序”这种追问。我们测下来单轮准确率看着还行，一到三轮以上对话模型就开始丢上下文。有个特别典型的案例：第一轮问了某产品Q1销量，模型答对了；第二轮问“那Q2比Q1多了多少”，模型居然用了另一张图的数据来算——它把之前对话里另一张图的数值跟当前图混在一起了。多轮评测还得看指代消解，用户说“这个”“那个”“最高的那个”，模型能不能把指代正确绑定到图表元素上。我目前的做法是设计一套追问脚本，从单跳事实问答逐步升级到多跳比较和汇总，每轮都记录模型是否保持了对话状态的一致性。这套脚本跑一轮下来，大部分模型撑不过四轮。
动态和交互场景对评测基础设施的要求也完全不一样了。静态评测一张图一个问答对就能跑，动态评测得录屏或者抽帧，交互评测得模拟用户操作序列，数据结构从简单的三元组变成了带时间戳的状态链。我现在的折中方案是把动态图表转成关键帧序列、把交互操作转成自然语言描述再评测，虽然损失了一些信息但至少能跑起来。但我知道这远远不够，等领域里有人把动态交互评测的标准框架搭起来，这块才能算真正开始测。
6.3 评测基准演进与评测指标体系的持续更新
基准这东西有保质期，我三年前觉得设计得挺完善的图表评测集，现在回头看漏洞一大堆。最明显的就是图表样式过时了，当年爬的图大多是报告和论文里的标准样式，现在业务里全是BI工具导出的深色模式仪表盘、带交互控件的看板、折叠面板里的迷你图。我现在的习惯是每半年筛一遍现有基准，拿一批新样本去测老基准的“天花板”——如果新模型在老基准上已经撞到九十五分以上，这个基准就该退役或者至少锁定不再作为主要参考。
指标体系的问题比基准更棘手。现在大家报得最多的还是准确率，可图表理解里准确率特别容易骗人。一个数据集里如果百分之七十是简单读数题，模型把简单题全做对就能拿七十分，剩下的复杂推理题全错，报告里写“准确率70%”听着还行，实际业务可用性基本为零。我现在的做法是强制分项报告，至少拆成感知识别、数值读取、关系推理、跨模态对齐四个维度分开打分，任何一个维度低于阈值就标红，不允许用总分掩盖短板。另一个坑是不同数据集的准确率口径不一样，有的算严格匹配有的算宽松匹配，有的对数值误差有容差有的没有，横向比较分数之前得先把口径对齐。我吃过一次亏，拿A数据集的宽松准确率跟B数据集的严格准确率比，得出个完全错误的结论。
指标体系的更新还得跟上任务类型的变化。摘要生成和趋势分析这类任务用准确率根本没法评，BLEU和ROUGE跟人类判断的相关性在图表描述上低得可怜，我们试过让模型生成图表摘要然后人工打分，发现自动指标排第一的模型人工排第三。现在比较务实的方法是混合评估——自动指标做初筛，LLM-as-judge做中筛，人工做精筛，三层漏斗把成本压下来。LLM-as-judge的prompt也得定期校准，我遇到过judge模型对数字格式特别挑剔，答案写成“3.2万”和“32000”它判错，这明显是judge本身的问题得修。还有统计显著性，两个模型分数差一个点到底算不算真差距，我现在一律跑bootstrap算置信区间，重叠了就说“没有显著差异”，不给自己找麻烦。
6.4 面向行业应用的评测体系落地建议
行业落地跟学术评测最大的区别是，学术评测追求通用能力和横向可比，行业评测只关心一件事：这模型在我这条业务链路上能不能用、用了之后省不省钱。我给几个不同行业搭过评测体系，最大的体会是别一上来就想着建大而全的基准，先把业务里最高频的二十种图表和十个核心问题列出来，针对这些做一个小而深的评测集，比啥都强。金融行业的朋友找我看他们模型，我第一件事就是问你们最常看什么图，回答说是K线图和财报里的堆叠柱状图。好，评测集就围绕这两种图建，K线图重点测算术平均和趋势判断，堆叠柱状图重点测占比读取和同比环比计算，其他图表先放一边。这样搞出来的评测结果业务方看得懂也用得上。
阈值设定得跟业务后果挂钩，不能拍脑袋定个九十分就完事。同样是数值读取错误，在营销报表场景里读错一个点可能只是汇报时被老板骂两句，在医疗或者金融风控场景里读错就可能出大事。我给每个指标设阈值时会拉业务方一起定三档：绿线是业务方明确说“这个水平我们可以直接上自动化”，黄线是“需要人工抽检兜底”，红线是“坚决不能用”。这三条线一画，模型选型会好开很多——有时候模型总分不高但关键指标过绿线了，业务方就敢用；有时候总分挺漂亮但关键指标在红线附近晃，再便宜也不能要。还有个实操细节，阈值定完要拿历史人工基线倒推验证一遍，如果人工都达不到绿线，那说明阈值定高了或者任务本身定义有问题，得回去改评测方案。
评测体系落地最容易忽略的是持续运营成本。我见过太多团队评测做得很漂亮，跑完一轮报告交上去就完了，下个月模型迭代了没人重新跑，再过半年数据分布漂移了也没人更新评测集。我现在给每个项目建评测体系时都带一套“保养手册”：评测集多久刷新一次、judge模型多久校准一次、指标口径变更走什么流程、谁负责维护。听起来像行政工作，可真不弄这些，半年后评测报告就变成废纸了。还有个压箱底的建议——把评测结论翻译成钱。别只跟业务方说准确率提升了五个点，要换算成“按现在的调用量每月能省多少人工复核工时”或者“错误率降低对应减少多少赔付风险”。业务方听懂了钱，评测体系才推得动。
6.5 未来研究方向与开放问题
未来最该先啃的硬骨头是评测本身的可解释性。现在模型答错了，我只能说“它在这道题上错了”，但说不清它为什么错。是视觉编码器没提取到关键元素？是语言模型没理解问题意图？还是对齐模块把两边接错了？要做细粒度归因，得在评测时把模型的中间状态也记录下来，注意力图、隐层表示、跨模态对齐分数这些都要抓，然后建立一套“错误归因标注体系”去分析这些中间信号和最终错误之间的关联。这件事做成了，评测报告就能从“你错了”升级到“你哪里错了以及为什么错”，对模型改进的指导价值完全不一样。
动态交互和多轮对话的评测框架我也在等一个标准答案。现在各家自己搭环境、自己定指标，横向没法比。理想状态下应该有一个类似“对话状态追踪”的评测协议，把图表状态、用户操作、对话轮次、指代关系全都结构化记录下来，然后统一算状态一致性、信息保持率、指代解析准确率这些指标。这件事单靠一家做不成，需要社区一起推，但我觉得未来一两年内应该会有人牵头搞起来。
跨语言和跨文化图表理解的评测也是块空白。我拿中文图表测英文模型、拿英文图表测中文模型，发现语言切换带来的性能损失比预期大得多，尤其是涉及方位词和量词的时候——中文说“第三列从左往右数”英文模型经常理解反。更麻烦的是图表本身的文化差异，比如有些国家财报习惯把图例放底部、有些放右侧，有些行业默认用双Y轴有些默认用百分比堆积，这些“图表方言”对模型的影响目前几乎没人系统研究过。
最后一个开放问题我觉得挺关键的：评测的评测。我们用自动指标去评模型，自动指标本身准不准？我们用LLM-as-judge去评模型，judge有没有偏见？这些元评测问题现在讨论得还很少。我试过让不同judge模型互相打分，发现它们对同一批答案的偏好一致性只有六成出头，这意味着一半左右的判断差异来自judge本身而不是被评模型。meta-evaluation这块我觉得会是接下来几年的热点，毕竟评测结论要能信，评测工具本身得先经得起评。
