我最早接触视频理解模型的时候，脑子里其实是一团浆糊。那时候我看到一个模型能识别视频里有人在跑步，就觉得它“懂视频”了。后来踩的坑多了才发现，能识别动作和能理解视频，中间差着十万八千里。这一章我想做的事很简单，把对比的边界先划清楚，免得后面拿着苹果跟橘子比来比去。框架不立起来，后面所有的评测、排名、选型都容易变成一笔糊涂账。
1.1 视频理解模型的定义、能力范围与典型任务分类
我理解的视频理解模型，本质上是一套能从连续画面里提取语义、时序关系和事件逻辑的系统。它不只是给单帧打标签，还得处理帧与帧之间发生了什么、哪个动作先出现、哪个结果后发生。按我的经验，能力范围大致可以分成三层：底层是感知，比如目标检测、动作识别；中间层是时序理解，比如事件定位、动作起止判断；上层是语义推理，比如视频问答、因果推断和内容摘要。
典型任务这块，我习惯按输入输出形态来分类。输入是整段视频、输出是标签的，属于分类类任务，动作识别是最典型的代表。输入是视频加问题、输出是自然语言答案的，是视频问答。输入是视频、输出是文本描述的，是视频描述或摘要。还有一类是检索，给定文本找视频片段，或者给定视频找相关文本，考的是跨模态对齐能力。
这些任务看起来各玩各的，实际在工程里经常混在一起用。我做过一个内容审核的小项目，表面上是做动作识别，实际流程里既要用事件定位找关键片段，又要用视频描述生成审核理由。任务边界是人为划的，模型能力却是交织的。所以我后面做对比时，不会把任务切得太死，而是按能力维度去组织。
1.2 能力对比的评价原则：准确性、时序性、泛化性、效率与可解释性
准确性是最直观的指标，也是我最开始唯一在意的指标。Top-1 准确率、mAP、BLEU 这些数字摆出来，谁高谁低一目了然。可数字高不代表好用。我遇到过准确率很漂亮的模型，一到真实场景里，视频稍微长一点、画面抖一点，表现就塌了。准确性是个入场券，不是终点。
时序性是我后来才真正重视起来的维度。视频跟图像最大的区别就在于时间轴。一个模型能不能判断“开门”发生在“进屋”之前，能不能定位出进球的那三秒钟，这比整体分类准不准更影响落地效果。我测过一些模型，单帧特征提取很强，一到长时序依赖就露怯，动作顺序都能搞反。
泛化性和效率是一对经常打架的兄弟。泛化性好的模型往往参数量大、推理慢，效率高的模型又常常在跨场景时掉链子。我现在的做法是分场景看，安防场景更看重效率和稳定性，教育场景更看重泛化和语义理解。可解释性则是另一个容易被忽略的点，尤其在需要给出审核理由或教学反馈的场景里，模型能不能说清楚“为什么这么判断”，直接决定了它能不能被业务方接受。
1.3 闭源多模态大模型、开源视频理解模型与专用视频模型的对比框架
我通常把市面上的模型分成三拨来看。闭源多模态大模型像 GPT-4o、Gemini 这类，优势是语义理解和开放域问答，给一段视频让它描述、推理、回答复杂问题，表现确实亮眼。缺点是你看不见它的内部结构，评测口径也受 API 限制，想复现一次完整测试都费劲。
开源视频理解模型是另一拨，像 VideoLLaMA、InternVideo 这些，代码和权重都能拿到，方便做消融实验和二次开发。我在做对比时最喜欢用这一类打底，因为变量可控。它们的短板也很明显，有些模型在通用问答上还行，一到细粒度动作识别就拉胯，社区版本更新快，版本之间的差异也得盯紧。
专用视频模型是第三拨，比如专门做动作识别的 SlowFast、专门做时序定位的 ActionFormer。这类模型在单一任务上往往能打过通用大模型，速度快、精度稳。可它们不具备开放域对话能力，换个任务就得换模型。我的对比框架不是要选出谁最强，而是把这三类放在同一张表里，看清楚各自的能力边界和适用位置。
1.4 从单模态到多模态：视频理解能力对比的关键变量与干扰因素
单模态到多模态这一步，变量一下子就多起来了。视觉之外加了音频、文本、甚至传感器信号，模型要处理的信息维度变了，对比的口径也得跟着变。我做过一组小实验，同一个模型在纯视觉输入和音视频联合输入下，事件定位的准确率能差出十几个点。音频里有人喊了一声，模型对画面里动作的判断都会跟着偏。
干扰因素里，我最头疼的是数据偏置和预处理差异。有的模型训练时见过的视频时长普遍在十秒以内，你拿个五分钟的片子去测，它表现差未必是能力不行，可能是没吃过这么长的序列。帧采样率也是个隐藏变量，每秒抽一帧和每秒抽五帧，输入的信息量完全不是一个量级。
还有一个容易被忽视的干扰因素是提示词和输入格式。多模态大模型对提示词特别敏感，同一段视频，问法换一换，答案可能南辕北辙。我在做对比时会尽量固定提示模板，把这类变量压到最低。说到底，对比框架的价值不在于把所有变量消灭掉，而在于把哪些变量控制住了、哪些没控制住，老老实实交代清楚。
说起评测基准，我有一肚子话想倒。前两年我拿着同一套模型在几个不同榜单上跑，结果排名能差出七八个位次。那时候我才意识到，榜单背后的数据集长什么样、怎么设计的，比最后那个数字重要得多。这一章我把自己踩过的坑、翻过的论文和实际跑过的数据集都摆出来，按覆盖范围、任务类型和真实场景几个角度，把视频理解领域的评测基准捋一遍。
2.1 通用视频理解评测基准的覆盖范围与设计差异
我最早用的是Kinetics系列，那会儿觉得动作分类做得好就是视频理解强。后来发现Kinetics的片段大多是十秒左右的短视频，镜头切换频繁，背景也相对干净。这类数据练出来的模型，放到安防监控的长镜头里，表现直接打对折。Kinetics的优势在于类别多、标注量大，适合做预训练和基础能力摸底，但拿它当唯一标尺就有点自欺欺人了。
后来我开始同时看Something-Something V2和UCF101。SSv2考的是细粒度动作交互，比如“把某物从某处移到另一处”，光看单帧根本判断不出来，必须依赖时序信息。UCF101偏老一些，分辨率低、场景杂，但它的类别贴近日常生活，能反映模型的基本感知水平。这两个基准的设计思路完全不同，一个强调时序推理，一个偏向通用识别，我一般会把它们组合起来看。
真正让我对基准设计有感觉的是ActivityNet。它覆盖了更长的时间跨度，从几十秒到几分钟不等，标注的是复杂活动而不是简单动作。我在ActivityNet上测过几个模型，有些在Kinetics上排名靠前的，到了ActivityNet上直接掉出第一梯队。原因不复杂，长视频里的关键信息往往分散在几个片段里，模型得学会筛选和聚合，这种能力在短视频基准里根本测不出来。
2.2 长视频、时序推理与事件定位类数据集对比
长视频这块我重点看了两个数据集，一个是ActivityNet Captions，一个是Charades。前者把长视频和自然语言描述对齐起来，支持时序定位和描述生成任务。后者更偏向日常室内活动，标注了动作的起止时间，适合做时序动作定位的评测。我实际用下来的感受是，Charades的标注质量挺扎实，但场景单一，厨房客厅占了大头。ActivityNet Captions覆盖的领域更广，标注密度却没那么高，有些片段的关键事件只有一句话带过。
时序推理我还专门试过NeXT-QA和TGIF-QA。NeXT-QA考的是因果和时序关系，比如“他打开冰箱之前做了什么”，模型得从上下文里推断动作顺序。TGIF-QA偏重复动作计数和状态变化，题型更机械一些。这两个基准的共同问题是，它们基于短视频片段构建，长时序依赖的测试深度有限。我拿一个能处理三分钟视频的模型去跑NeXT-QA，大部分题目它都能应付，但换到半小时的监控录像里，时序推理就跟不上了。
事件定位类数据集里，THUMOS14和ActivityNet是绕不开的。THUMOS14的特点是背景片段多、动作密度低，模型得在大量无关帧里定位出目标事件，误报率很容易飙升。ActivityNet的定位任务更偏向长视频中的多事件检测，一个视频里可能包含好几个不同动作。我测下来发现，模型在THUMOS14上更考验抗干扰能力，在ActivityNet上更考验多事件区分能力。两个数据集放在一起看，才能把时序定位能力摸清楚。
2.3 动作识别、视频问答、视频描述与检索类数据集对比
动作识别这块，除了前面说的Kinetics和SSv2，我还经常用HMDB51做补充。HMDB51的样本量小、画质参差，但它的类别设计比较贴近真实世界的动作多样性。我有个习惯，新模型先在Kinetics上看整体水平，再到HMDB51上看鲁棒性。两个都稳了，才敢往业务场景里推。
视频问答的数据集我主要用MSRVTT-QA和ActivityNet-QA。MSRVTT-QA的题目相对模板化，很多问题换个问法答案不变，模型容易靠语言先验蒙对。ActivityNet-QA的题目更开放，需要结合视频内容做推理，难度高出一截。我在实际评测时会刻意构造一批反事实问题，比如把视频里的动作关系颠倒过来问，看看模型是不是真的在看视频，还是只靠文本线索猜答案。
视频描述和检索这块，MSR-VTT和VATEX是用得最多的。MSR-VTT的标注质量不错，但视频来源比较杂，风格不统一。VATEX的规模更大，描述更简洁，适合做跨模态对齐的评测。检索任务上，我比较看重模型在零样本条件下的表现，因为真实业务里很少能提前拿到目标领域的标注数据。有些模型在MSR-VTT上检索指标很高，换到自建的行业视频库上就崩了，这种差距在基准数字里完全看不出来。
2.4 音视频多模态、开放域与真实场景数据集对比
音视频多模态的数据集我接触得晚一些，但用下来觉得特别重要。VGGSound和AudioSet是常用的两个，前者偏向短视频中的声音事件与视觉内容的对应关系，后者覆盖的音频类别更广。我做过一组对比实验，同一个模型在纯视觉输入和音视频联合输入下，事件识别的准确率能差出十个百分点以上。音频里的环境声、人声提示，有时候比画面本身更能帮助模型判断场景。
开放域和真实场景的数据集，我最常提的是Ego4D和COIN。Ego4D是第一人称视角的长视频数据集，覆盖了大量日常活动和社交场景，标注任务包括动作识别、时刻检索、社交互动理解等。它的价值在于贴近真实世界的复杂性，镜头晃动、遮挡、光照变化都很自然。COIN偏教学类视频，步骤清晰、结构性强，适合评测模型的流程理解能力。这两个数据集我都跑过，Ego4D的挑战明显更大，模型在开放域下的泛化短板暴露得很彻底。
真实场景还有一个绕不开的问题，就是数据偏置。很多公开数据集采集自特定平台或特定地区，文化背景、拍摄习惯都有偏向。我拿一个在公开数据集上表现很好的模型去测本地安防视频，场景一换，误检率直接翻倍。这不是模型能力不行，是训练数据没覆盖到这类场景。所以我现在做对比时，会刻意加入自建的行业数据集，哪怕规模小一点，也能帮我看出模型在真实环境里的适应力。
2.5 评测指标、数据偏置与基准复现中的常见问题
评测指标这块我吃过不少亏。早期我只盯Top-1准确率，后来发现它在类别不均衡的数据集上会骗人。一个模型把多数类全猜对，少数类全错，Top-1照样好看。现在我肯定会同时看mAP、召回率和混淆矩阵，必要时还会按类别拆开看。视频问答任务上，BLEU和ROUGE这些文本指标也有局限，它们衡量的是词面重合度，不是语义正确性。模型答得意思对了但用词不同，分数照样低。
数据偏置的问题比指标问题更隐蔽。我遇到过一种情况，某个视频问答数据集里，大部分问题的答案都能从问题本身推断出来，模型根本不需要看视频就能答对。这种数据集测出来的分数虚高，放到真实场景里完全不是那么回事。我现在的做法是，评测前先做一轮数据审计，看看问题分布、答案分布和视频内容的相关性，把那些靠语言先验就能刷分的样本剔出去。
基准复现的问题最让人头疼。同一个模型、同一个数据集，不同论文报的分数能差好几个点。原因五花八门，帧采样率不同、预处理方式不同、评测脚本版本不同，甚至随机种子的设置都能影响结果。我现在的习惯是，看到论文里的分数先不急着信，自己按公开的评测脚本跑一遍，把帧率、分辨率、输入格式这些变量固定住，再跟论文数字做比对。复现不出来的分数，我不会拿来作为选型依据。
说到底，评测基准和数据集是工具，不是答案。工具用得对不对，取决于我清不清楚它的设计边界和适用场景。这一章列了这么多数据集和指标，核心目的只有一个，让后面做能力对比和实测排名的时候，心里有杆秤，知道每个数字背后到底是什么在支撑。
跑完基准测试，拿到一堆分数之后，真正让我头疼的问题才浮上来。这些数字到底对应着什么样的能力？一个模型在Kinetics上高出两个点，意味着它在安防场景里就更能扛？显然不是这么简单。这一章我把视频理解拆成五个能力维度，每个维度底下拿实际模型跑过的结果说事，看看差距到底出在哪。
3.1 时空建模与长时序依赖理解能力对比
空间建模这块，大部分模型已经做得不差了。单帧画面里的物体、场景、人物关系，主流模型都能识别出来。拉开差距的是时间维度。我做过一组对比实验，同一个模型在单帧输入和十六帧输入下，动作分类的准确率能差出十五个点。再加到六十四帧，提升就趋缓了。这说明大多数模型在短时间窗口内能捕捉运动信息，但窗口一拉长，信息聚合的效率就掉下来了。
长时序依赖是另一个层面的考验。我拿一段二十分钟的烹饪教学视频做测试，问模型“厨师在放盐之前还加了什么调料”。需要跨越好几分钟的上下文去关联两个动作。表现好的模型能定位到关键片段，把前后操作串起来。表现差的模型直接忽略了时间间隔，把整段视频里出现过的调料全列了一遍。这种差距在短视频基准里根本测不出来，因为短视频里的因果关系几乎是紧挨着的。
我自己的感受是，时空建模能力强的模型通常有两个特点。一是帧采样策略更聪明，不是均匀抽帧，而是根据内容变化自适应选择关键帧。二是在特征聚合阶段保留了时间位置信息，而不是简单做平均池化。这两点在长视频场景里起决定性作用。我测过一个开源模型，短视频基准分数一般，但长视频时序推理任务上反而超过了几个大厂闭源模型，后来一看它的架构，果然在时序编码上做了专门设计。
3.2 动作识别、事件检测与时序定位能力对比
动作识别和事件检测经常被混为一谈，实际用起来差别很大。动作识别是给整段视频打个标签，事件检测得在时间轴上框出事件发生的起止点。我拿THUMOS14测过几个模型，动作识别准确率高的，事件检测的mAP不一定高。有个模型分类准确率排前三，时序定位的IoU一算，直接掉到后半段。原因也不复杂，分类模型关注的是“有没有”，定位模型得搞清楚“从哪到哪”。
时序定位的难点在边界模糊。一个动作从开始到结束，中间可能有停顿、有短暂的其他动作穿插。标注的人自己都有分歧，模型更难拿捏。我测过一段篮球比赛视频，模型把“投篮”事件的起点定在了接球那一刻，比人工标注提前了两秒。严格来说模型没错，接球确实是投篮动作的起始，但标注规范上是从起跳开始算。这种偏差在mAP指标上会被放大，实际业务里反而没那么严重。
动作识别这边，细粒度分类的差距最明显。粗粒度类别比如“跑步”“跳跃”，主流模型都做得不错。换到“用手背推开门”和“用掌心推开门”这种区别，差距就出来了。我试过一个专门做手部动作识别的模型，在这类任务上比通用模型高出二十多个点。这提醒我，选型的时候得看清楚业务场景需要多细的粒度，拿通用模型去硬扛细粒度任务，往往事倍功半。
3.3 视频问答、因果推理与复杂语义理解能力对比
视频问答是我花时间最多的评测维度。原因很简单，问答最接近真实用户对视频理解的使用方式。我拿ActivityNet-QA和自建的业务问答集做过对比测试，发现一个挺有意思的现象。大模型在开放式问题上优势明显，回答自然、覆盖面广。小模型在封闭式选择题上反而更稳，答案精准、废话少。
因果推理是问答里的硬骨头。我设计过一组问题，专门考“因为……所以……”这类关系。比如视频里一个人先看了看窗外，然后穿了件外套出门。问“他为什么穿外套”。模型得把“看窗外”和“穿外套”建立因果联系，推断出外面可能降温了。表现好的模型能说出“因为查看了天气情况，判断外面冷”，表现差的模型只会复述“他穿了外套出门”。这个能力在智能助手场景里特别关键，用户要的不是画面复述，是合理解释。
复杂语义理解方面，我越来越看重模型对反事实问题的处理。正常问“视频里的人做了什么”，模型靠视觉特征就能答个八九不离十。要是问“如果当时他没接那个电话，接下来会发生什么”，模型得理解事件之间的逻辑链条，还得做假设推演。我测下来，大部分模型在这个任务上表现不稳定，同一个视频换个假设条件，答案质量波动很大。这块能力目前还没有哪个模型敢说自己稳了。
3.4 视频描述、摘要、检索与跨模态对齐能力对比
视频描述任务上，我关注两个东西：描述准不准，废话多不多。有些模型生成描述跟写散文似的，画面里没提到的背景故事都能给你编出来。我拿MSR-VTT测过一轮，BLEU分数高的模型未必描述得准，它可能只是学会了输出高频词组。真正好用的描述模型，能把画面里的关键实体、动作和场景关系讲清楚，不添油加醋。
摘要能力对长视频特别重要。半小时的会议录像，用户不可能从头看到尾。模型得挑出关键发言、重要决策和行动项，压缩成三五分钟的摘要。我试过几个支持长视频摘要的模型，差距主要在信息取舍上。有的模型把大量篇幅给了开场寒暄，真正关键的决策讨论反而一笔带过。摘要这件事，光靠视觉特征不够，得结合音频转写文本做联合判断。
检索和跨模态对齐我平时测得很细。给一段文字描述，让模型从视频库里找出匹配片段。这个任务能直接反映模型对视频内容和文本语义的对齐程度。我拿自建的行业视频库测过，公开数据集上检索指标很高的模型，换到这个库上召回率直接砍半。后来分析原因，行业视频里的专业术语和特殊场景在训练数据里覆盖太少，模型压根没建立对应的跨模态映射。检索能力高度依赖训练数据分布，换领域就得重新评估。
3.5 多模态融合、噪声鲁棒性与跨场景泛化能力对比
多模态融合这块，我踩过最大的坑是以为加了音频就一定会提升。实测下来，音频质量差的时候，融合反而拖后腿。我拿一段嘈杂的街头监控视频测试，纯视觉模型把事件识别对了，音视频融合模型被背景噪音带偏，给出了错误判断。好的融合机制应该能动态调节各模态的权重，噪音大的时候自动降低音频贡献，画面清晰的时候再拉高视觉比重。目前能做到这一点的模型不多。
噪声鲁棒性在真实场景里太重要了。公开数据集大多做过清洗，画面稳定、光照均匀、背景干净。实际业务视频什么样都有，镜头抖动、雨雪天气、夜间低照度、遮挡频繁。我做过一组对照实验，同一个模型在清洗数据和真实监控数据上的表现差距能到三十个点以上。鲁棒性好的模型通常做了针对性的数据增强，或者在架构上设计了抗干扰模块。光靠堆数据量解决不了这个问题。
跨场景泛化是最难啃的骨头。我拿一个在公开数据集上综合排名靠前的模型去测医疗手术视频，识别准确率惨不忍睹。手术场景的器械、操作流程、光照条件跟自然场景完全是两个世界。模型在训练时没见过类似分布，泛化能力再强也白搭。我现在的做法是，跨场景对比一定带上领域自适应能力这一项，看模型在新场景下微调之后能恢复到什么水平，而不是只看零样本表现。零样本分数低不可怕，微调后涨不上来才是真问题。
这五个维度拆开看各有各的门道，合在一起才构成一个模型能力的完整画像。我选型的时候会按业务需求给每个维度分配权重，安防场景时序定位权重大，教育场景摘要和因果推理权重大，医疗场景鲁棒性和跨场景泛化权重大。没有哪个模型在所有维度上都拔尖，搞清楚自己的场景最需要什么，比盯着综合排行榜有用得多。
前三章聊的都是拆开来的能力维度，这一章我把手头的测试结果汇总成排名，再挑几个典型模型掰开揉碎讲讲。先声明一句，排名这东西有保质期，模型迭代快得像手机系统更新，今天排出来的座次过俩月可能就翻篇了。我尽量把测试条件和判断逻辑交代清楚，你能照着复现，也能根据自己的业务场景调整权重。
4.1 主流闭源多模态大模型视频理解实测表现与排名
我拿手头六款主流闭源模型跑了一轮完整测试，覆盖短视频问答、长视频摘要、时序定位和跨模态检索四类任务。测试集是我自己攒的，三千多条视频，三分之一来自公开基准，剩下的是业务场景真实数据。排名按加权总分算，短视频问答权重三成，长视频摘要三成，时序定位两成，检索两成。
排在前面的两款模型差距很小，总分差不到两个点。A模型在长视频摘要和因果推理上优势明显，半小时的会议录像能给我压出一份带行动项的纪要，关键决策的召回率我人工核对过，能到八成五。B模型在跨模态检索上更稳，文字描述和视频片段的匹配精准度高出A模型七八个点。这个差距在检索类业务里就是能不能用的区别。
中间梯队的两款模型属于偏科生。C模型的短视频问答反应快、回答自然，像是跟人聊天。换到长视频任务上就露怯了，超过十分钟的视频经常把前后事件搞混。D模型正相反，长时序处理有一套，短视频问答的准确率比头部差出十多个点，回答也偏生硬。后面两款模型综合表现明显掉队，时序定位的mAP跟头部差了快二十个点，我怀疑它们在视频时序编码上的投入不够。
4.2 开源视频理解模型在通用与细分任务中的实测对比
开源模型这两年追得很凶。我把测试分成两组，一组是通用任务，跟闭源模型跑同一套基准；另一组是细分任务，挑了几个垂直场景单独比。通用任务上，最好的开源模型跟闭源中游梯队打平手，短视频问答差三个点以内，长视频摘要差得稍微多点，五到八个点。
细分任务的结果有意思。有一个开源模型在细粒度动作识别上反超了所有闭源选手，我拿“双手交叉抱胸”和“单手搭在另一只手臂上”这种区分度极低的动作测，开源模型准确率高出闭源头部十五个点。看了一下它的训练数据，专门加了手部动作和肢体交互的标注，针对性很强。换到通用场景问答，它又掉回去了。这告诉我一件事，细分场景里开源模型的定制空间比闭源大得多，前提是你愿意投人投算力去做微调。
长视频时序推理这块，开源的普遍偏弱。我测二十分钟以上的视频，开源模型的事件定位边界模糊问题比闭源严重，经常把相关但不关键的前置动作也框进去。有个模型我测了一段厨房教学视频，问“加盐之后下一步做了什么”，它把加盐之前切菜的动作也答进去了。架构上分析，多数开源模型的时间位置编码做得比较粗糙，长序列截断策略也偏简单。
4.3 典型模型案例：优势能力、短板表现与失败模式分析
挑三个模型细说。第一个是闭源头部那款A模型，优势在复杂语义推理，我给它看一段两个人握手的视频，问“这俩人关系怎么样”，它能结合面部表情、握手力度和场景上下文给出“商务合作初次见面”的判断，还附上了推理依据。短板在细粒度视觉识别，你让它区分“拿铁”和“卡布奇诺”的奶泡厚度差异，它基本靠猜。
第二个是那个细分任务反超的开源模型。强项在动作细节，弱项在长视频的全局理解。我拿一段四十分钟的足球比赛测试，它能把每个球员的跑动、传球、射门动作识别得很准，你问它“哪支球队控球率更高”，它答不上来。它把每段视频切碎处理，缺乏全局聚合的机制。这种模型适合做片段级分析，不适合做整场赛事的战术总结。
第三个模型我想重点讲讲失败模式。这款模型在公开基准上分数很好看，我拿真实业务数据一测，幻觉问题严重。画面里明明只有一个人在走路，它描述成“一个人在公园散步，旁边有孩子在玩耍”。我问它旁边有孩子吗，它说“根据画面推断可能存在”。这种过度推断在开放式描述任务里特别危险，用户分不清哪句是看到的、哪句是编的。我后来加了一组对抗测试，专门问画面里不存在的物体，这款模型的误报率比同类高出将近一倍。
失败模式还有一类是时序错位。有个模型在视频问答里经常把不同时间点的事件混在一起回答。我测一段会议录像，前半段讨论预算、后半段讨论人事，问“预算讨论里提到了哪些部门”，它把人事讨论里的部门也列进去了。这种错误很隐蔽，答案听起来合理，但经不起核对。
4.4 推理成本、响应效率与部署约束对排名的影响
光看准确率排名容易踩坑。我算过一笔账，排名第一的模型跑一次两分钟视频的完整理解任务，API调用成本是排名第五那个模型的四倍多。响应时间上差距更大，头部模型处理长视频的延迟明显更高，一个十分钟视频的摘要生成要等二十多秒，业务场景里用户等不了这么久。
部署约束也得算进去。闭源模型走API调用，数据得传出去，金融和医疗客户这块卡得严。有个客户明确要求视频不出内网，那就只能选开源模型本地部署。开源模型部署成本也不一样，参数量大的对显存要求高，一套推理服务配下来硬件投入不少。我见过一个团队选了个准确率最高的开源模型，部署完发现单卡跑不动，得上四卡并行，预算直接翻倍。
我现在的排名表会加一列“性价比分”，把准确率除以单次推理成本，再乘以一个延迟系数的倒数。这个分数排出来的座次跟纯准确率排名经常不一样。有些场景准确率差两三个点完全能接受，成本省一半、响应快一倍，工程上更划算。安防实时分析场景尤其明显，延迟超过两秒基本没法用，准确率再高也是摆设。
4.5 实测排名的可复现性、评测口径与结果解读注意事项
排名这东西最怕口径不一致。我见过不同团队测同一个模型，分数差了十几个点，一查原因，视频抽帧数不一样，一个用八帧一个用三十二帧。抽帧数对时序任务的影响巨大，我在第三章提过这茬，这里再强调一遍，比较排名之前先问清楚人家的评测配置。
随机性也是个坑。开放式问答任务上，同一个模型同一个视频，换个提示词措辞，答案质量能差出一截。我做过重复测试，温度参数调到默认值，同一个问题的回答在三次调用里有两次质量相当、一次明显跑偏。这种波动在样本量小的时候会被放大，评测集少于五百条视频的排名，我一般只当参考。
数据污染得警惕。公开基准里有些视频在训练数据里出现过，模型分数虚高。我拿几个模型测过同一批新采集的视频，排名跟公开基准上的座次出入不小。有个模型在公开基准上排前三，换到新视频上直接掉到中游。我的做法是，公开基准跑一遍摸底，自建的新鲜数据再跑一遍定座次，两边差得多的模型我会标个星号提醒自己注意。
最后说结果解读。排名反映的是特定测试集、特定评测口径下的相对表现，不是绝对能力。我建议看排名的时候同时看分项得分，搞清楚模型在哪类任务上强、哪类任务上弱，再对着自己的业务需求做匹配。综合排名第一的模型，在你最关心的那个任务上可能只排第五，这种时候排名第一对你没有意义。
上一章末尾我留了一句话，排名反映的是特定测试集、特定口径下的相对表现，不是绝对能力。这句话放到选型上就是一条铁律：没有最好的模型，只有最合适的模型。这一章我把这半年攒下来的选型经验、踩过的坑和对趋势的判断摊开聊聊。
5.1 面向内容审核、智能安防、教育、医疗与媒体生产的场景化选型矩阵
我最近跟几个不同行业的团队聊选型，发现大家问的根本不是“哪个模型最强”，而是“我这个活儿该用哪个”。这两个问题长得像，答案差得远。内容审核场景里，业务方最在意延迟，值班同学盯着屏幕，超过一秒半就开始催；运维关心的是并发和显存占用；采购掰着指头算每条视频的成本。三个角色坐一桌，选出来的模型往往不是榜单第一那款。我算过一笔账，一天十万条短视频全走头部大模型API，账单能把财务吓一跳，实际落地基本是轻量专用模型跑全量，大模型只做二次复核。
智能安防是另一个路数，这个场景对时序定位的精度要求近乎苛刻。我见过一个园区项目，模型把“翻越围栏”定位到了落地动作，跟实际起跳时间差了四秒，安保调录像找人的时候扑了个空。安防选型我优先看时序定位mAP和误报率，准确率可以往后放一位。误报率高了，值班人员会把告警静音，系统等于白装。
教育和医疗得放在一起说，合规压力摆在那儿。教育场景看重章节切分和知识点对齐，四十五分钟的课，模型得能切出小节、标出重点。医疗更麻烦，视频数据不出院内，只能本地部署开源模型再做科室级微调。我参与过一个手术视频分析项目，开源的视觉编码器配自研时序聚合模块，效果比直接调闭源API还稳，数据也没往外走。媒体生产的诉求集中在摘要质量和检索命中率，几万小时素材库里找“傍晚海边两个人吵架”的镜头，跨模态对齐能力比纯准确率值钱得多。选型矩阵这东西我建议自己画，场景、核心指标、预算、合规要求四列填满，答案基本就浮出来了。
5.2 基于任务复杂度、视频时长与部署预算的模型选择策略
我习惯把任务分成三档来看。简单档是短视频分类、单动作识别，片段十秒以内，轻量模型甚至传统视觉特征加小参数量时序模块就能跑。中档是视频问答、事件检测，视频几分钟到十几分钟，得挑时序编码做得细的模型。复杂档是长视频摘要、跨事件因果推理，半小时以上的素材，闭源头部和少数长时序专精模型是现实选择。分档的意义在于别拿高射炮打蚊子，也别拿弹弓打坦克。
视频时长这个变量最容易被低估。我做过一组对比，同一个模型处理两分钟视频和二十五分钟视频，时序定位准确率掉将近三成。选型的时候必须拿业务里最长的视频去测，别用基准里的短视频糊弄自己。有个做在线教育的客户找我复盘，课程视频平均四十分钟，他们选型时拿五分钟片段测了一圈，上线后长视频章节切分错得一塌糊涂，返工重选了两个月。
预算要算三笔账：推理硬件、运维人力、模型迭代的再训练成本。我见过一个创业团队，业务量不大，硬上大模型私有化部署，硬件投入吃掉全年预算三分之一。后来换成开源中等模型加规则后处理，效果打了九折，成本降到两成。选型不是选最强，是选最合适。这句话我逢人就说。
5.3 评测基准与实测排名在工程选型中的正确使用方法
我现在的用法分三步走。先拿公开基准跑一遍摸底，主要看分项得分分布，时序定位直接崩掉的那种先筛掉，不看绝对分数。接着拿业务数据跑，至少五百条，覆盖长尾场景，这一步的分数才是决策依据。收尾做小流量A/B，把模型放进真实链路跑两周，看端到端指标，不只看模型指标。有回我们测一个视频问答模型，离线指标漂亮，上线后发现用户问法跟测试集差得远，端到端满意度没达标，只能回炉。
排名表的使用有个常见误区，盯着综合分看。我的习惯是把综合分拆成任务分项，再按业务权重重新加权。内容审核场景时序定位权重给四成，媒体检索场景跨模态对齐给五成，权重一换座次就变。帮一个客户做过重新加权，他们原本看中的第一名掉到第四，最后选了综合第六、检索分项第一的模型，上线后检索命中率涨了十二个点。厂商对外标称的分数我一般打七折看，评测条件不一样，水分多少得挤一挤。
还有个细节得写进选型文档：抽帧数、提示词模板、温度参数、视频分辨率。这些参数不写清楚，过三个月换个人复测，分数对不上就开始扯皮。我的选型报告里专门留一页“评测配置”，能影响结果的参数全列出来，谁复现谁知道。
5.4 视频理解模型能力演进趋势：更长时序、更强推理与更低成本
长时序这块我看到两个方向在跑。一个是位置编码的改进，从绝对位置往相对位置和旋转位置编码走，长视频的时序关系保持得明显更好。另一个是分层聚合，先把视频切成事件段，段内做细粒度理解，段间做全局推理。我测过几个走分层路线的模型，半小时视频的事件召回率比去年同类提升了快二十个点。这两个方向还在合流，明年的长视频模型应该会有质变。
推理能力上，视频模型开始接思维链。我拿一段需要多步推理的片段测过，问“这个人为什么没上车”，模型会先描述人物动作、再理时间线、最后结合环境给判断。这种显式推理对可解释性帮助很大，答错的时候你能看出它哪一步想歪了。开源社区追得很快，半年前还只有闭源能做多步推理，现在好几个开源模型已经支持，微调之后在垂直场景能打平闭源中游。
成本下降的速度超出我预期。同样处理一分钟视频，今年推理成本比去年降了大概六成。降价来源有几块：模型结构更高效、量化技术成熟、推理框架优化。成本是选型里变化最快的变量。成本降下来之后，很多以前不敢碰的场景能跑起来了，全量视频流实时审核、监控视频逐帧语义检索，这些在去年还属于“想想就好”的范畴。我估计明年这个时候，长视频理解单次成本还能再砍一半。
5.5 未来评测体系与多模态视频理解能力对比的发展方向
现在的评测基准有个通病，更新慢、场景偏、容易刷榜。我期待的评测体系得是动态的，定期换新数据，防止模型把测试集背下来。已经有团队在做动态基准，每次评测从池子里抽新视频，这个方向我认可。静态榜单跑出来的分数，参考价值会越来越低。
真实场景的覆盖也得加强。公开基准里的视频大多干净、剪辑过，业务场景里的视频有抖动、有遮挡、有压缩伪影。我建议评测集里至少留三成给“脏数据”，看模型在真实条件下的表现。有个安防客户给我看他们的测试集，夜间红外画面占一半，主流基准里几乎找不到这类数据，模型在那边跑出来的分数挺好看，换到红外画面直接哑火。
多模态融合是个明显的评测缺口。现在多数基准只测视觉加文本，音轨信息基本闲置。真实视频里声音携带的信息量很大，玻璃碎裂、脚步逼近、语气变化，这些对事件理解很关键。我测过几个支持音频的模型，加音轨后事件检测准确率能提五到八个点。剩下的一块是可解释性和效率指标，用户越来越不满足于一个分数，他们想知道模型凭什么这么判断。推理链合理性、注意力可视化的一致性，这些指标现在还没标准化，我认为两三年内会补齐。效率指标也一样，光看准确率不看延迟和成本，评测结果对工程选型的帮助有限。
