1.1 这份AI语音识别排行榜为谁而做
我做这份榜单的初衷挺朴素的,就是被问烦了。“你们测了那么多语音识别模型,到底哪个准?”这个问题我被不同的人问过无数次,有做会议记录工具的创业者,有在银行做客服质检的工程师,也有单纯想给自己项目挑个离线方案的独立开发者。他们的需求差得很远,共同点是都找不到一份能直接拿来参考的中文语音识别横向数据。市面上倒是有不少榜单,可大多只给一个笼统的“准确率”,不告诉你测的是什么场景、什么硬件、什么口径。我见过一个团队照着某榜单选了模型,上线之后发现在方言和噪声环境下一塌糊涂,返工成本不低。
这份榜单想解决的就是这个问题。它把中文识别准确率和速度分成两条线来评,线上云服务和离线本地模型分开排名,每个数字背后都标清楚测试条件。读者可以是我这样的评测者,也可以是选型决策的人,或者是想复现结果的算法工程师。适用场景我列得比较细:会议转写看重长音频稳定性和标点恢复,客服质检在意关键词召回和方言覆盖,车载交互对首字延迟特别敏感,移动端则要盯着内存和功耗。这几个场景的侧重点完全不同,一份只有总分的榜单是没法用的。
我一直觉得排行榜的价值不在于给出“第一名”,而在于把差距量化。某个模型比另一个慢了多少毫秒、在噪声下多错了几个字,这些细节才是选型时真正救命的东西。所以这份榜单的定位更接近一份可追溯的测试报告,而不是一个颁奖台。
1.2 准确率和速度,我用两把尺子分开量
中文语音识别的评测有个坑,就是准确率和速度经常被混在一起谈。有些模型准确率确实高,可推理一次要等上好几秒,实时场景根本用不了。有些模型快得飞起,字错率却高得让人不敢上线。我决定把这两个维度拆开,各自独立评测,最后再放到一起看权衡关系。
准确率这块,我用的核心指标是字错率,也就是替换、删除、插入三类错误占参考文本总字数的比例。字错率之外我还看了句错率和语义可用性,后者是我自己加的一个主观维度。原因很实际,有些句子字错率不高,但错的位置恰好把语义搞反了,这种结果对下游任务来说是灾难。评测集我覆盖了普通话朗读、自由对话、几类主要方言、带背景噪声的录音,还有医疗和法律这类专业术语密集的音频。每个场景单独出分,不搞加权平均糊弄人。
速度维度我用的是实时率和首字延迟两个指标。实时率反映的是处理一段音频需要多长时间,首字延迟则是用户说完话到看到第一个字之间的等待。后者在交互类产品里比前者更重要,很多人会忽略这一点。测试硬件我固定了配置,CPU和GPU分别跑,离线模型还额外记录了冷启动耗时。这两把尺子分开之后,很多模型的面貌就清晰了,有的属于“准但慢”,有的属于“快但糙”,选型时心里有数。
1.3 云端和本地,我为什么分开排名
把在线云服务和离线本地模型放在一张表里排名,我觉得是耍流氓。这两类产品的运行环境、成本结构、能力边界都不一样。云服务背后是厂商的大集群,模型可以做得很大,还能随时更新,识别效果通常更好,可它依赖网络,按调用量计费,数据要出本地。离线模型塞在你的设备里,推理资源有限,模型得压缩量化,效果会打折,换来的是隐私可控、断网可用、没有持续调用成本。
所以榜单分成两个类别,各有各的统计口径。云服务这一类,我记录的是API调用下的准确率和端到端响应时间,包含网络往返。离线这一类,我记录的是本地推理的纯计算耗时和资源占用,硬件配置写死在附录里。两类的分数不直接横向比较,我会在综合对比章节里给出跨类别的参考视角,但排名本身是分开的。
统计口径上还有几个细节要说清楚。云服务的测试我控制在同一网络环境下进行,避开高峰时段,每个模型跑多轮取中位数,减少网络抖动的影响。离线模型我统一了输入音频格式和采样率,关闭了不必要的后台进程。这些看起来琐碎,可正是这些细节决定了榜单能不能被别人复现。
1.4 数据从哪来,结果凭什么可信
数据来源分三块。公开评测集我用了一部分,主要是那几个学界常用的中文语料,好处是别人能对着复现。自建测试集是另一块,我录了不同性别、不同年龄、不同口音的说话人样本,还专门去嘈杂的地铁站和咖啡馆采集了噪声场景。第三块来自实际业务音频的脱敏片段,这部分最贴近真实分布,也最能暴露模型在长尾情况下的问题。
测试流程我尽量做到透明。每个模型用相同的音频输入,相同的解码参数设置,跑三次取稳定值。遇到结果波动大的情况,我会追查原因,是模型本身不稳定,还是我的环境有干扰。有几次发现是某个模型对音频长度特别敏感,短音频正常,超过两分钟就开始丢字,这种情况我会在注释里标出来。
可信度这事儿我不敢打包票说绝对准确,毕竟测试环境和你的生产环境不可能完全一致。我能保证的是每个数字都有对应的测试记录,测试脚本和配置我会在后续章节里给出复现方法。看到跟预期不符的结果,欢迎拿着我的流程去验证。榜单是活的,模型在更新,我的测试也会持续跟进,这一版的数据只代表这个时间点的状态。
2.1 这套评测集到底测了什么
做准确率排行榜最怕的一件事,就是拿一段干净得不能再干净的朗读音频跑个分,然后告诉全世界这个模型中文识别率98%。这种数字放到真实业务里基本没有参考价值。我这套评测集分了四个层次,每个层次对应一类真实场景,测出来的分数也分开记。
普通话朗读部分我选了公开语料里质量较高的一批,说话人覆盖男女老少,语速中等偏快。这部分算是基准线,大部分模型都能跑到不错的水准。自由对话那块难度直接上了一个台阶,有口头语、有重复、有打断,还有说话人自己都没想清楚要说什么的停顿。我特意保留了一些“嗯”“那个”“就是说”这类填充词,看模型是老老实实转写还是自作聪明帮你省略。
方言这块我选了粤语、四川话、东北话三组样本,每组找了三到五个母语者录制。粤语跟普通话的声调系统差异大,四川话的韵母变化多,东北话虽然接近普通话但语速一快吞音严重。噪声场景是我花心思最多的部分,地铁车厢、咖啡馆、马路边的录音我都采了,信噪比控制在5dB到15dB之间。专业术语部分找了医疗问诊和法律咨询的脱敏录音,里面全是“靶向治疗”“不可抗力”“诉讼时效”这类词,通用模型在这块翻车的概率不低。
2.2 各场景下的准确率对比
普通话朗读场景下,头部模型的字错率差距其实不大。我测下来排在前面的几个云服务模型基本都在2%到4%之间徘徊,你追我赶的态势很明显。某家主打大模型的厂商在这个场景下做到了2.1%的字错率,另一家老牌语音厂商紧随其后。离线模型这边受限于模型体积,最好的成绩在4.5%左右,跟云端比有差距,但考虑到本地推理的资源约束,这个数字已经相当能打了。
方言场景的排名变化就大了。粤语这块,专门针对粤语优化过的模型字错率能控制在8%以内,通用模型直接飙到20%以上,有的甚至超过30%。四川话稍微好一点,因为跟普通话的底层音系接近,头部模型能做到6%到10%。东北话的表现介于两者之间,但吞音问题让不少模型在快速对话中丢字。我注意到一个现象,有些模型在方言上分数不高,可语义可用性还不错,因为错的地方多是语气词和虚词,核心实词反而抓住了。
噪声环境是我觉得最能拉开差距的维度。安静环境下大家都很体面,一到地铁里就原形毕露了。某家云服务模型在15dB信噪比下字错率只上升了不到两个百分点,说明前端降噪做得扎实。也有模型在5dB的咖啡馆录音里字错率直接翻了三倍,把“买单”识别成“埋单”还算好的,有的把整句话都吞了。专业术语场景暴露的是语言模型的问题,声学层面识别对了,解码阶段被通用语言模型带偏。医疗录音里“化疗”被识别成“话聊”这种事我见过不止一次。
2.3 字错率之外,句错率和语义可用性说了什么
字错率是行业里最通用的指标,可它有个毛病——太细了。你看到一个模型字错率5%,感觉还行,但这个5%可能集中在几个关键句子上,导致整段转写没法用。所以我同时记录了句错率,也就是至少出现一个错误的句子占总句数的比例。有的模型字错率4%,句错率却接近30%,说明错误分散在很多句子里,每一句都差那么一点点。另一种模型字错率6%,句错率只有18%,错误集中在少数几句上,整体可读性反而更好。
语义可用性这个维度是我自己加的,带着点主观色彩,但我觉得比前两个指标更贴近用户感受。具体做法是让几个同事盲听转写结果,判断“这句话的意思有没有被曲解”。有些错误属于同音字替换,上下文一读就明白,比如把“期中考试”写成“期终考试”,语义可用性损失不大。有些错误是把否定词丢了,“不建议手术”变成“建议手术”,这种错误字错率上只算一个字,语义可用性直接归零。我在榜单表格里给这类高风险错误单独标了颜色,选型的时候建议重点看这一列。
2.4 影响准确率的那些坑和榜单误读
测了这么多模型,我发现影响中文识别准确率的因素远比想象中复杂。音频采样率不匹配是个隐形杀手,很多模型训练时用的是16kHz,你丢个8kHz的电话录音进去,字错率能凭空涨好几个点。说话人口音混搭也麻烦,我遇到过普通话里夹粤语词汇的样本,模型直接懵了。还有标点恢复的问题,有些模型识别文字很准,可断句一塌糊涂,长句子里逗号句号乱标,下游做语义理解的时候苦不堪言。
榜单最常见的误读就是拿总分选型。我见过有人只看排行榜第一名就下单,结果自己的业务场景恰好是那个模型最弱的方言加噪声组合。还有一种误读是忽略测试条件,某模型在GPU上跑出高分,你放到CPU环境里部署,准确率可能没变但速度完全没法用。我在表格里把每个模型的测试硬件和场景权重都标出来了,就是希望大家看分的时候带着上下文看。
最后说个容易被忽略的点,模型版本更新带来的波动。我测某个云服务模型的时候,隔了两周再测,同一个接口的字错率变了0.8个百分点。联系厂商才知道他们灰度更新了模型。这种情况在云服务上很常见,榜单数据只能代表我测试那个时间点的状态。离线模型相对稳定,但你得留意量化版本和完整版本的差距,int8量化后的模型在噪声场景下掉点比安静环境明显得多,这个细节很多榜单不会告诉你。
3.1 我把测试台搬回了自己桌上
测离线模型的速度,最忌讳的就是还挂在云上跑。网络一来一回几百毫秒,测出来的数字根本不知道是模型的锅还是网线的锅。我把所有模型都拉到本地,断网跑,连WiFi都关了,免得后台偷偷拉个什么资源影响结果。
硬件我准备了四套。台式机是i7-12700加32G内存,当性能上限的参照物。轻薄本是i5-1135G7,代表大部分打工人手里的办公本。边缘设备用的树莓派4B 8G,插张高速SD卡。手机端是骁龙8 Gen2的安卓机。GPU那边单独加了张RTX 3060和一块Jetson Orin Nano,主要看显存占用和加速比。
测试音频我挑了十段,短的三十秒,长的五分多钟,全部转成16kHz单声道16bit的WAV。有人问我为什么不直接喂mp3,解码这步不同模型实现不一样,会污染速度数据。基准设置上我做了四件事:每段音频先预热跑三遍,正式计时跑五遍取中位数;BIOS里锁死高性能模式,关掉一切节能策略;线程数固定成物理核心数;全程盯着温度,一旦降频就重跑。这些细节听着啰嗦,少做一步,测出来的RTF能差出百分之二三十。
我记录三个数:实时率RTF,就是处理时长除以音频时长;首字延迟,从音频送进去到吐出第一个字的时间;尾字延迟,最后一个字出来的时间点。RTF小于1才算比实时快,小于0.3做批量转写才舒服,做实时交互得压到0.2以下。这几个门槛后面会反复提到。
3.2 主流离线模型的推理速度擂台
先看台式机上的成绩。Whisper tiny在int8量化、单线程下RTF跑到0.05左右,也就是二十倍速,base掉到0.12,small是0.35,medium直接逼近0.9,基本贴着实时线跑。Paraformer-large非流式版本在CPU上RTF大约0.3,它的流式版本首字延迟能压进300毫秒以内。Vosk的小模型RTF只有0.03,速度快得离谱,代价是准确率在噪声场景下惨不忍睹,我的测试集里它经常整句整句地丢。
首字延迟这块,流式和非流式完全是两个物种。非流式模型必须等整段音频播完才能出结果,你给它五分钟的会议录音,它就得憋五分钟才吐第一个字,首字延迟等于音频全长。流式模型边听边出字,首字延迟能做到200到500毫秒,差别就在这。做车载语音、做实时字幕的兄弟,看到榜单上非流式模型RTF很漂亮就冲进去,最后发现用户说完一句话要等三秒才响应,这种翻车我见过太多次。
手机和树莓派上的表现值得单独说。骁龙8 Gen2跑量化后的Whisper tiny,十秒音频一秒多出结果,日常用没问题。树莓派4B跑base版本就很吃力了,RTF在0.6到0.8之间晃,跑两分钟机身烫手,接着就降频,速度再掉一截。Jetson Orin Nano配GPU加速,small模型能跑到0.1以下的RTF,功耗十来瓦,边缘盒子这个形态我比较看好。同一款模型在不同硬件上的排名会重排,这点榜单必须分硬件列出来,混在一起排没有意义。
3.3 冷启动、并发、内存和功耗这些没人愿意测的指标
冷启动是我特别在意的一项。模型从磁盘加载到可用状态要多久,Whisper small大概一到三秒,Paraformer-large两到四秒,取决于存储介质和有没有做内存映射。听起来不长,可在车载唤醒、智能音箱这类场景里,用户喊一声到系统响应,两秒的空白足够让人怀疑设备坏了。有的方案做法是常驻进程,代价是内存一直被占着,这笔账得算清楚。
并发压力测试我做得比较暴力,四路音频同时送进去,CPU四核打满。结果几乎所有模型的RTF都劣化了1.8到2.5倍,有的模型在多线程调度上写得糙,劣化更狠。实际业务里客服质检经常要批量跑几十路录音,并发性能比单路速度更重要。我把这个数据单独列了一列,标的是"四路并发下的平均RTF",选型的时候别只看单路那个漂亮数字。
内存占用从两百多兆到两G都有。量化到int8能把内存砍掉一半左右,完整精度的large模型在8G内存的边缘设备上跑,系统经常被逼到swap。功耗方面,树莓派4B满载五到六瓦,Orin Nano十到十五瓦,手机端持续跑语音识别大概两三瓦,对续航的影响肉眼可见。这些数字不性感,可它们决定了你的方案能不能真的落在一台几百块的设备上。
3.4 快和准之间,没有免费的午餐
把速度数据和上一章的准确率数据摆在一起看,规律很清晰。越小的模型越快,噪声和方言场景掉点越狠。Whisper tiny在安静环境下还算能用,一到5dB信噪比的地铁录音里,字错率能比small高出十多个百分点。量化是另一个变量,int8比fp16快三成左右,噪声场景的准确率损失比安静环境明显得多,安静环境掉零点几个点,噪声里能掉两三个点。
解码参数也值得掰开说。beam size从5降到1,速度提升三到四成,准确率掉一到两个点。对实时交互场景,这一到两个点换来的是首字延迟降低一两百毫秒,我觉得划算。批量转写场景就没必要省这个,慢一点准一点更值。有人问我能不能两头都要,我的回答是场景决定取舍,会议转写可以慢,车载指令必须快,宁可短句识别准、长句丢一点,也不能让用户等。
我最想提醒的一点是,速度测试的可复现性比准确率更依赖环境。同一款模型换台机器、换个电源策略、换个夏天和冬天的室温,数字都可能漂移。榜单给的是某个时间点、某套硬件上的快照,你拿它当参考可以,拿它当承诺就会踩坑。真想选型,拿自己业务里最典型的五段音频,在自己的目标设备上跑一遍,半小时的事,比看十篇测评都实在。
4.1 准确率这杆秤,在线和离线称出来的数不一样
我把上一章的离线数据和第二章爬下来的在线榜单摆在一张表里对过,第一眼看上去在线云服务的中文准确率确实高一截。普通话安静场景,头部云厂商的字错率普遍压到3%到5%,离线小模型跑同样的音频,最好的也要6%到8%。差距不算大,可你把它放到方言、专业术语、强噪声这几个刁钻场景里,裂缝一下就撕开了。在线模型背后动辄上亿参数,喂过的数据量不是本地一个几百兆的模型能比的,粤语、四川话、带口音的普通话,云服务掉点掉得温柔多了。
离线的优势不在通用准确率上,在"懂你"。我试过给一个离线模型喂了三千条医疗问诊录音做微调,在门诊场景里它的术语识别率反超了通用云服务。药名、科室名、症状描述,这些词云厂商的通用模型根本不认识,它会硬生生给你转成发音相近的常用词。你调API调得再勤,也改不动人家的模型。离线你把模型捏在手里,微调、蒸馏、加词典,招数多得多。
还有一个容易被忽略的维度:延迟对"感知准确率"的扭曲。在线服务网络往返加推理,首字延迟常在五百毫秒到两秒之间晃,用户说完一句话盯着屏幕等结果,这时候准确率再高他也觉得这系统反应慢。离线流式模型两百毫秒出字,哪怕个别字错了,用户感知上反而觉得更顺。我这份排行榜里准确率和速度从来不是两张独立的表,它们合在一起才构成真实体验。
4.2 速度、延迟、稳定性、成本、可扩展性,五条线拉出来看
速度这块在线和离线根本不是一个量纲。离线的RTF是纯计算,你在自己机器上测出0.2就是0.2,翻来覆去都稳。在线的端到端延迟等于网络传输加排队加推理,我用同一家云服务在早高峰和凌晨各测十次,波动能差出三倍。跨省调用和同城机房调用又是两回事。你买的是服务,不是性能承诺,这点得认得清楚。
稳定性更值得掰扯。离线模型部署在自己机房里,机器不死服务就不死,宕机了也是自己的锅,修起来心里有数。在线服务挂着SLA,一年99.9%听着漂亮,换算下来一年也有八个多小时不可用,真赶上大促当天掉链子,你连日志都看不到,只能干等工单。我见过客服系统依赖单一云厂商语音接口,那边一限流,这边整条质检流水线停摆的场面。
成本是另一条分水岭。在线按调用时长计费,一小时音频几毛到几块钱,业务量小的时候几乎无感,量一上来账单就吓人。一天处理一万小时音频,月账单能顶好几个工程师。离线是买断制,模型免费或一次性授权,硬件买回来折旧,跑得越多摊得越薄。可扩展性反过来,在线想扩就扩,调个并发配额的事;离线要扩容得买机器、装机、部署,慢半拍。业务量波动大的选云,量稳定且大的,长期算下来自建更划算。
4.3 什么场景往哪边靠,我按业务掰开说
会议转写是我最推荐离线的场景。一场两小时的会,音频全程不出内网,法务那边先过一关。转写这活对实时性要求低,批量跑就行,模型慢一点准一点完全可以接受。Paraformer-large这类非流式模型在会议场景里压得住,配合热词表把公司名、项目代号加进去,可用性很高。云端转写准确率是好一些,可你把涉密会议录音传出去那一刻,合规部门的电话就打过来了。
客服质检是个混合场景。一天几万通电话,批量转写用离线能省下大笔调用费,尤其录音内容本身敏感。实时监听坐席通话、给话术提示的这个环节,在线更顺手,低延迟、高并发、模型更新快,云厂商迭代速度比你自研快多了。我的做法是离线兜底批量,在线补实时,两套并行,账单和体验都照顾到。
车载交互必须是离线。地库、隧道、高速山区,网络断得比你想的勤,用户喊一声"导航回家",你总不能回他"网络连接失败请稍后再试"。车载对首字延迟的要求苛刻到两百毫秒以内,非流式模型想都别想,必须上流式小模型。模型体积还得压住,车机那点存储和内存经不起折腾,量化到int8、砍掉多余层,准确率让一点,换来的是随时在线。移动端跟车载类似,端侧离线识别是默认选项,云端识别当增强,网络好的时候偷偷帮一把,这已经是主流App的标配打法。
4.4 隐私、网络、部署这三道闸门,比排行榜数字更能决定选型
隐私合规是硬门槛,过不去就是一票否决。金融、医疗、政务、教育这些行业,录音数据出内网这个动作本身就要走审批,很多单位直接禁止。你在排行榜上看到某云服务准确率排第一,跑去跟安全部门申请,人家一句"数据不能出域"就把路堵死了。离线模型在这类场景里不是优选项,是唯一项。反过来,一些公开内容转写、海外内容审核,数据敏感度低,云的准确率和弹性优势就值得用。
网络条件经常被低估。你以为办公室千兆宽带,实际客户现场是偏远厂区、地下管廊、海上平台。我做过一个能源巡检的项目,现场信号时有时无,语音指令传云端十次有三次超时,最后老老实实换离线。评估网络不能只看带宽,要看稳定性、抖动、丢包率,还要看断网频率。断网超过一定频次,在线方案的用户体验就崩了。
部署约束是最后一道坎。离线方案要人维护,模型更新、驱动升级、故障排查,都得有工程师盯着。团队里没人懂这块,买回来一堆机器最后吃灰。在线方案把运维甩给云厂商,代价是你要接受它的节奏和价格。我见过一个小团队为了省钱自建离线集群,结果模型版本管理混乱,三台机器跑着三个版本的模型,输出结果对不上,排查了两周。选型的时候,把团队能力、预算周期、数据敏感度、网络现实这四项列个表打个分,比盯着准确率排行榜第一位冲过去靠谱得多。排行榜告诉你谁跑得快谁认得准,可它不知道你的机房在哪儿、你的合规红线在哪儿、你团队有几个人。
5.1 我那份选型清单,是从踩过的坑里长出来的
榜单摆在桌上,数字一排排看着清楚,真到拍板那一刻,我还是会先掏出一张自己画的格子表。最左边一栏写的是场景,会议转写、客服质检、车载、移动端App,各占一行。第二栏写数据敏感度,分三档:绝对不能出内网、最好别出、无所谓。第三栏是首字延迟要求,拿秒表掐过的,两百毫秒、五百毫秒、两秒以上都行,各归各的。这三栏填完,一半的候选方案已经自己淘汰了,根本轮不到比准确率。
准确率那一栏我从来不直接抄榜单第一名。榜单测的是通用集,我关心的是我那些音频在不在它的舒适区。我会拿自家业务里最难的五百条音频——带口音的、有背景噪声的、术语密集的——跑一轮小规模盲测,只记字错率和句错率,不看厂商宣传页。速度这栏我测端到端,不测纯推理,网络传输、排队、重试这些统统算进去。成本我算三年的账,不只看单价,把人力运维、机器折旧、迁移成本一起摊进去。团队能力这栏最虚也最要命,没人维护的方案,买回来就是负债。
清单最后我还会加一栏,叫"退路"。这个方案将来想换,迁移代价有多大?在线换云厂商要改代码改接口,离线换模型要重新调优重新部署,哪个轻哪个重,心里得有数。我做过一个项目,选型时贪便宜用了某家小众离线引擎,一年后厂商不更新了,想换都得推倒重来,整个团队骂了我半个月。从那以后,退路这一栏我是必填的。
5.2 把准确率往上顶,把推理速度往下压,我试过的招
准确率这块,微调是性价比最高的第一招。通用模型在你垂直领域里总有几个词反复出错,把业务里真实出现的几百条到几千条音频标好,喂进去做轻量微调,通常能救回来一大截。我做过一个法律咨询的转写,法规名称、案由这些词通用模型错得离谱,微调之后术语识别率从七成出头爬到九成以上。热词表是更轻的一招,改都不用改模型,把公司名、产品代号、人名往表里一塞,欠 tuning 的模型立刻听话不少。这两招叠着用,大部分垂直场景的准确率就够看了。
数据处理这块我吃过亏。一开始我随手拿会议录音切一切就当训练集,结果模型在安静环境里越训越好,一到噪声场景就露馅。后来学乖了,训练集里强制掺进不同信噪比、不同口音、不同录音设备的样本,宁可每条都少一点,也要覆盖得杂一点。数据增强也简单粗暴,加混响、加背景音、变速、加轻微失真,跑一遍下来模型鲁棒性肉眼可见地提升。
速度优化我常用三板斧:量化、剪枝、换流式架构。量化到int8是最划算的,模型体积砍掉四分之三,速度翻倍,准确率掉一两个点,多数场景完全能接受。剪枝要小心,砍过头了模型直接变傻,我一般按层逐步砍,每砍一刀测一轮准确率。流式架构是首字延迟的解药,非流式模型再快也得等整句说完,流式模型一边听一边出字,感知上快得多。这三招我通常组合着上,先量化看能不能达标,不达标再动剪枝,延迟要求苛刻的直接换流式,准确率不够的回头再补微调。
5.3 想复现我的速度测试,照这个模板走就行
测试环境我建议写死在文档里,别偷懒。硬件型号、CPU核数、内存大小、有没有GPU、什么型号、驱动版本、操作系统版本、推理框架版本、模型文件哈希值,这些字段一个都不能少。我见过太多人拿着不同环境跑出来的数字互相打架,最后一查,一个用CPU一个用GPU,一个开了一个没开多线程,纯属白吵。同一份模型文件在不同框架下速度差两倍的事我都遇到过,测评不写环境,等于没测。
测试集我一般准备三份:一份短音频,五秒到十秒,测首字延迟和冷启动;一份中等长度,半分钟到两分钟,测稳定推理速度;一份长音频,十分钟以上,测内存占用和长时间运行的稳定性。每份至少五十条,跑三轮取中位数,把最大值最小值也记下来,波动大的模型不能只看平均数。实时率RTF我按音频总时长除以处理总时长算,首字延迟单独用高精度计时器掐,别用秒表,人手的误差比你想象的大。并发测试至少测单路、四路、八路三个档,看吞吐量怎么随并发爬,爬到哪儿开始掉。
评估模板我留了一栏叫"异常记录",专门记测试过程中出现的怪事。有没有偶发的超时、有没有内存泄漏、跑久了会不会变慢、断网重连表现如何。这些指标榜单上从来不写,真到生产环境全是雷。我自己那份模板跑下来,最后给出的不是一行数字,是一段话的结论:这个模型在我这套硬件上,单路RTF多少、首字延迟多少、四路并发出不出问题、连跑八小时稳不稳。这样的结论拿给团队看,比一张排行榜截图有用得多。
5.4 榜单会变,模型会换,评测这件事得一直做下去
模型演进的方向我看得很清楚,往端侧走、往多模态走、往流式大模型走。这两年端侧小模型进步快得吓人,几百兆的模型中文准确率已经能摸到两年前云端模型的水平,量化、蒸馏、稀疏化这些手段还在往前推。我估计再过一两年,车载、手机这些场景的离线识别会变成标配里的标配,云端只做增强,不做主力。多模态也在冒头,音频加视频口型、音频加文本上下文,对噪声环境和方言的补强肉眼可见。流式大模型更值得盯,它把准确率和延迟这对老冤家往中间拉,以前非流式才有的准确率,现在流式模型也在追。
排行榜本身我觉得会从一张静态表变成一套持续评测机制。静态榜单有个死穴,模型一更新,数字就过期了,读者拿着半年前的榜单选型,选出来的可能是上一代。我更看好那种带时间戳、带版本号、带复现脚本的评测平台,谁都能提交自己的测试结果,社区互相校验。厂商愿不愿意公开模型哈希、愿不愿意接受第三方盲测,这些会慢慢变成选型时的硬指标。我自己的做法是每季度重跑一轮小规模测试,不追求覆盖所有模型,就盯住自己在用的那三五个,一有版本更新就测,数据攒下来画条曲线,比任何榜单都更懂我的业务。
写这份排行榜写到第五章,我最大的感受是:数字是死的,场景是活的。榜单告诉你谁在标准赛道上跑得快,可你那条赛道有没有弯道、有没有坡、路面什么材质,只有你自己知道。我把方法论、测试模板、选型清单都摊在明面上,就是希望你拿走之后能自己跑一遍,跑出属于你自己业务的那份榜单。别人的第一,放在你的场景里未必是第一,你自己测出来的那个数,才是真的。