第1章 AI模型中文能力的内涵与关键维度
聊AI模型的中文能力，我常被朋友问到一个问题：它到底算不算"懂中文"？这个问题听起来简单，回答起来挺费劲。我自己用各种模型写东西、查资料、做翻译折腾了两年多，越来越觉得"中文能力"这四个字背后藏着一整套东西，不是一句"能说人话"就能打发的。
我理解的AI模型中文能力，大概是四个维度叠在一起：语言理解、文本生成、知识掌握、逻辑推理。语言理解是地基，模型得先看懂你在说什么，包括分词、句法、语义这些层面。文本生成是出口，它得把理解到的东西用通顺、得体、符合中文习惯的方式写出来。知识掌握决定它脑子里有没有货，中文世界里的人情世故、历史地理、行业术语，它得知道个大概。逻辑推理则是把前面几块串起来的能力，能不能从一段话里推出结论，能不能在多步问题里保持思路不散。
这四个维度不是并列关系，更像是一层托一层。我见过理解能力不错但生成很僵的模型，也见过文笔华丽但一问事实就胡说的模型。单看某一项强，意义不大。真正好用的模型，是这四样都比较均衡，哪一项都不拖后腿。我平时评测一个模型的中文水平，会刻意在这四块上分别下钩子，看它掉不掉链子。
1.1 中文能力界定：语言理解、文本生成、知识掌握与逻辑推理
语言理解这块，我的体会是它比想象中难。中文没有空格分词，一句话里词和词的边界模糊，"南京市长江大桥"这种经典例子至今还能让一些模型犯迷糊。再加上中文喜欢省略主语、喜欢意合，一句话里几个分句之间不写连接词，靠语义黏在一起，模型得自己补出那层关系。我拿一段没有标点的古文或者口语转录去测模型，经常能看到它在断句和指代上翻车。
文本生成是用户感受最直接的维度。生成不只是"能写"，还包括语体对不对、用词准不准、节奏顺不顺。我让模型写过政府公文风格的通知，也让它写过小红书口吻的种草文案，同一件事换个场景，好的模型能切得过来，差的模型就一个腔调到底。我还特别在意它对中文标点和段落习惯的把握，逗号句号用得别扭，读起来就出戏。
知识掌握和逻辑推理这两块，我习惯放在一起看。知识是"知不知道"，推理是"能不能用"。我试过问模型一些中文语境里的常识问题，比如某个传统节日的习俗、某句俗语的大致意思，知识扎实的模型答得靠谱。推理方面，我会给它一段带条件的中文材料，让它做判断或者给建议，看它会不会被无关信息带偏。这两项合起来，才撑得起"中文能力"里那个"能力"的分量。
1.2 中文语境特殊性：文化语义、多义表达、成语典故与多轮对话
中文的特殊性，我感受最深的是文化语义。同一个词，放在不同文化背景里意思差很远。"面子"这个词，字典解释和实际用法之间隔着一大片生活经验。模型如果只按字面去理解，很容易答得干巴巴，甚至答偏。我跟模型聊人情往来、聊职场潜规则，能明显感觉到有的模型是真读过中文语料里的那些弯弯绕绕，有的就只会背定义。
多义表达也是老问题。中文里一个"打"字能组出几十个意思，打饭、打车、打电话、打官司，动作对象一变，含义就变。成语典故更考验功底，四个字背后往往是一整段故事，用对了是点睛，用错了就是笑话。我见过模型把"七月流火"当成天气炎热来用，这种错误在中文用户眼里特别扎眼。成语这东西，光认识字不够，得知道它从哪来、现在怎么用、什么场合不能用。
多轮对话是另一个容易被低估的维度。中文聊天里指代特别多，"他""那个""刚才说的"，跨轮次一多，模型能不能记住、能不能接上，直接决定体验。我试过跟模型连续聊十几轮，中间故意换话题再绕回来，有的模型能稳稳接住，有的聊到第五轮就开始答非所问。多轮对话里的中文能力，本质上是上下文记忆和语义追踪的结合，单轮测试根本测不出来。
1.3 能力边界与常见误区：通用能力不等于中文专长，参数规模不等于中文水平
我经常听到一种说法：这个模型英文强，中文肯定差不了。这话我是不太信的。通用能力强，说明模型在广泛任务上有底子，中文专长却是另一回事。中文有自己的一套语言规律和文化负载，英文语料里练出来的能力，迁移到中文上会打折扣。我见过一些在英文榜单上排名靠前的模型，中文成语用得磕磕绊绊，中文长句读起来像翻译腔。通用能力是底子，中文专长得单独练、单独评。
参数规模这个误区更普遍。很多人觉得参数越大中文越好，我自己的测试经验是，参数规模和中文水平之间不是简单的正比关系。大模型有更强的记忆和泛化潜力，可中文能力还取决于训练数据里中文占多少、质量怎么样、对齐做得好不好。我对比过参数量差好几倍的两个模型，小的那个在中文写作上反而更自然，原因就是它的中文语料更干净、更贴近真实表达。参数是资源，不是答案。
看清这些边界，对选模型、用模型都很重要。我现在看一个模型的中文能力，不会只看它能不能流畅对话，会拆开看它在具体中文任务上的表现，看它的错误类型是什么。有的模型错在知识，有的错在语感，有的错在逻辑，错误类型不同，适用场景就不同。把"通用能力"和"中文专长"分开看，把"参数规模"和"中文水平"分开看，才不会被表面的流畅度忽悠。
第2章 AI模型中文能力评测方法体系
评测这件事，我吃过不少亏才慢慢摸出门道。最开始我特别迷信跑分，看到一个模型在某个中文榜单上分数高，就觉得它稳了，结果拿回来一试，写出来的东西跟我预期差得远。后来我学乖了，评测得当成一套组合拳来看，单靠一把锤子敲不准这颗钉子。标准化测试、人工评估、对抗测试、真实场景，这几样各有各的用处，也各有各的坑。
我现在的习惯是先把评测拆成三层：最上面一层是设计层面，想清楚测什么、怎么打分；中间一层是执行层面，跑测试、找人评、造对抗样本；最下面一层是质控层面，盯数据污染、指标合理性和结果能不能复现。三层缺一层，结论就容易飘。这一章我想把这些年折腾评测攒下来的经验摊开聊聊。
2.1 标准化基准测试：任务类型、题库设计与评分规则
标准化基准测试是我评测清单里的第一站。它的好处是省事、可比，同一套题跑不同模型，结果摆在一起看，心里有个底。中文基准这些年冒出来不少，像C-Eval、CMMLU这类，覆盖的学科和任务类型挺广。我一般会先看它的任务构成，是不是既有选择题又有生成题，既有知识问答又有推理判断，任务太单一的榜单，分数再高我也不敢全信。
题库设计这块，我踩过一个坑：有些题表面看是中文题，骨子里考的是英文翻译能力。题干读起来别扭，选项里还有翻译腔，这种题测出来的分数参考价值不大。我现在会挑几道题自己先做一遍，看看表述是不是地道，干扰项设计得有没有水平。好的题库，错误选项应该能勾出模型常见的误解，而不是随便凑几个词。评分规则也得留个心眼，选择题按准确率算简单直接，生成题用自动指标评分就有讲究了，BLEU、ROUGE这些指标对中文的语序和表达多样性不太敏感，分数高不代表读着舒服。
我平时会拿标准化测试当筛子用，先筛掉明显不行的模型，剩下的再进人工和场景环节。它像一个体检报告里的基础指标，能告诉你大概健康状况，真要诊断具体毛病，还得往下走。
2.2 人工评估、对抗测试与真实场景化评测
人工评估这事没法省。我自己评测的时候，会拉上三五个背景不同的朋友一起看模型输出，有做编辑的、有写代码的、有当老师的，不同眼睛看到的问题不一样。编辑会挑语病和逻辑断裂，程序员会盯技术表述准不准，老师会看解释得清不清楚。同一个回答，有人说好有人说别扭，这种分歧本身就有信息量。
人工评估最怕的是标准不统一。我给自己的评估表定了几个维度：准确性、流畅度、语体匹配、信息完整度，每个维度按五分制打分，打分的时候要求写一句理由。理由比分数更值钱，分数是死的，理由能告诉我毛病出在哪。对抗测试我也常做，故意给模型挖坑，用歧义句、成语误用、带陷阱的多轮提问去试它。我试过问一个模型“七月流火是形容天气热吗”，它顺着我的话说“是的，形容夏天炎热”，这种题一抓一个准。对抗测试的乐趣在于，它能把模型藏在流畅表达下面的短板给逼出来。
真实场景化评测是我最看重的环节。我会拿自己手头的活儿去测，比如让模型改一篇公文、写一段产品介绍、回答一个行业咨询问题。场景化测试没有标准答案，好坏靠体感，可恰恰是这种体感最接近用户真实体验。我印象很深的一次，一个模型在基准题上分数漂亮，我让它写一份会议通知，它把时间地点写得含糊其辞，格式也不对，这种毛病只有放到具体场景里才看得见。
2.3 数据污染控制、评测指标设计与结果可复现性
数据污染是评测里最隐蔽的敌人。我刚开始做评测的时候压根没想过这茬，后来发现有些模型在某些题上表现好得反常，一查才发现那套题库早就在训练语料里流传开了。模型等于开卷考试，分数自然虚高。我现在会做两件事：一是尽量用新出的、传播范围小的题，二是拿几道题改改表述和数字再跑一遍，看模型是真会还是背答案。改题这招挺管用，背答案的模型一改就露馅。
指标设计上，我吃过唯分数的亏。分数是个压缩包，把很多信息压没了。我现在看结果会拆开看：不同类型任务的得分分布怎么样，错误集中在哪些题型上，生成质量是稳定还是忽高忽低。方差大的模型我一般会比较谨慎，说明它发挥不稳，换个场景可能就掉链子。指标不是越多越好，能回答“强在哪、弱在哪、稳不稳”这三个问题的指标，才有留下的价值。
结果可复现这块，我自己定了个规矩：每次评测都记下模型版本、调用参数、提示词原文、评测时间。看起来啰嗦，可过两个月再回头看，没有这些记录根本说不清当时的结论是怎么来的。模型更新快，今天测的结果下个月可能就变了，没有可复现的记录，评测就成了一次性消费。我还会把评测脚本和题目版本一起存档，别人要复现我的结果，照着走一遍就行。这套习惯帮我避免了好几次误判，也让我的评测结论经得起别人追问。
第3章 大模型中文能力排行榜与结果解读
排行榜这东西，我一开始是当圣旨看的。每周刷一遍，谁排第一就试谁，折腾了小半年才发现，榜单和实际体验之间隔着一层毛玻璃。看得见影子，摸不准形状。这一章我想聊聊我是怎么把排行榜从“答案”降级成“线索”的，以及我后来自己摸索出来的一套追踪方法。
3.1 主流中文能力排行榜与榜单构成
我手机里收藏的中文榜单大概有六七个，常看的有C-Eval、CMMLU、SuperCLUE、OpenCompass的中文分榜、FlagEval，还有几个社区维护的细分榜。这些榜单的气质差别挺大。C-Eval和CMMLU偏学术，题目来源多是考试题库和教材，考的是知识覆盖面；SuperCLUE更贴近应用，题里会掺不少真实场景的对话和写作任务；OpenCompass的榜单覆盖面广，同一个模型能在上面看到好几种维度的分数切片。我一般不会只盯一家，横向摆在一起看，哪家给高分哪家给低分，这个反差本身就有意思。
榜单的构成要素我后来会拆开看。主办方是谁，这个影响榜单的立场和更新节奏，学术机构做的榜单更新慢但口径稳，商业机构做的榜单更新快但有时会跟着自家模型发布节奏走。题目来源和数量也得看，题量太小的榜单，一两道题的波动就能让排名翻个身，参考价值打折。还有一个容易忽略的点是模型版本，榜单上写“某模型”三个字，背后可能是base版、chat版、也可能是某个特定日期的快照，版本不同分数能差出一大截。
我自己做过一个小实验，把同一个模型在三个榜单上的排名拉出来对比，结果一个排前五，一个排十二，一个压根没上榜。没上榜不是模型不行，是榜单没收录那个版本。这种事见多了，我就养成了一个习惯：看榜单先看脚注，脚注里藏着版本号、评测时间和题目范围，这三样不清楚，分数再漂亮我也先放一放。
3.2 排名差异来源：评测维度、权重设置与模型版本差异
同一个模型在不同榜单上排名打架，我一开始以为是榜单不靠谱，后来拆开看，发现大部分差异都有解释。最直接的原因是评测维度不一样。有的榜单偏知识问答，选择题占大头，这种榜对记忆力强的模型友好；有的榜单偏生成任务，写作、摘要、多轮对话占比高，这种榜更考验表达的流畅度和语体匹配。一个模型在知识榜上领先，换个生成榜可能就掉到中游，这不矛盾，它只是偏科。
权重设置是第二个变量。我见过有的榜单把选择题准确率权重给到六成，生成质量只占两成，这种权重下知识型模型天然占便宜。还有的榜单搞平均分，把十几个子任务的分一加一除，看起来公平，实际上一个弱项能被一堆强项稀释掉。我现在看榜单会翻它的评分说明，权重怎么分配、子任务怎么归类，这些细节比总分更能说明问题。总分是给人看的，权重是给懂行的人看的。
模型版本差异这块我吃过亏。有一次我看某模型在榜上排第三，兴冲冲去调API，结果效果跟榜单展示的差了一截。后来才知道榜单测的是他们内部的一个增强版，公开API对应的是另一个版本。采样参数也会捣鬼，温度设成0和设成0.7，同一个模型的表现能差出两个档次。榜单一般不公开这些参数，我现在的做法是自己按榜单的题型复现几道，跑出来的结果和榜单差太多，就以自己的结果为准。
3.3 排行榜局限性分析与动态追踪方法
排行榜的局限性，我归纳成三条。第一条是滞后性，模型迭代以月为单位，榜单更新以季度为单位，中间的时间差里排名早就变了。第二条是刷榜冲动，有些团队会针对榜单题型做定向优化，榜单分数上去了，泛化能力没跟上，这种模型用起来会有一种“只会做考题”的别扭感。第三条是场景错位，榜单测的是平均能力，我手头的活儿往往集中在某一两个场景，平均能力强的模型在特定场景里翻车的例子我见过不少。
我现在的追踪方法比较土，但管用。我建了一个自己的小表格，固定十来道题，涵盖公文改写、行业问答、成语辨析、多轮追问这几类，每个月挑几个候选模型跑一遍，记录分数和主观感受。这个表格不追求全面，追求的是稳定可比，同一套题跑上一年，模型进步的曲线看得清清楚楚。榜单我还是看，但只用来发现新面孔，发现之后拉进我自己的表格里验一遍。
动态追踪还有个小技巧是看更新日志。模型厂商发新版的时候通常会写改了什么，中文能力相关的改动会提数据配比、对齐策略、词表扩展这些词。日志里提了中文优化的，我会优先试；只提了参数和推理速度的，中文能力大概率原地踏步。这套方法帮我省了不少瞎试的时间，也让我对榜单排名不再那么焦虑。排名是别人的尺子，我手里得有自己那把。
第4章 AI模型中文能力的应用场景与需求映射
前阵子有个朋友找我，说他们公司要采购大模型，让我帮忙参谋参谋。我问他要用来干嘛，他说“什么都干”。这个回答我太熟了，几乎每个刚开始接触大模型的人都是这么想的。后来我逼着他列了个清单，写清楚哪些部门用、用在什么环节、每天大概跑多少量。清单一出来发现，所谓的“什么都干”，其实就是写周报、回客户消息、查产品资料这三件事。这三件事对中文能力的要求差得挺远，用一个模子去套，钱花了效果还一般。这一章我想聊的就是这个事，场景和需求怎么对齐。
4.1 内容创作、办公写作与知识问答场景
内容创作这块我用得最多，也踩坑最多。公众号推文、短视频脚本、产品文案、活动方案，这些活儿看着都是写字，实际对模型的要求不一样。写推文要的是语感和节奏，句子长短交错，读起来不吃力；写产品文案要的是准确，卖点不能漏，夸张不能过；写脚本要的是画面感，脑子里得有镜头。我试过拿同一个模型干这三件事，推文写得还行，文案就开始堆形容词，脚本直接写成流水账。后来我学乖了，每种文体单独建一个提示模板，把范文和禁区都塞进去，效果才稳下来。
办公写作是另一个路子。公文、纪要、邮件、汇报材料，这些文本有固定的格式和语气，容错率低，写错一个称谓或者用错一个文种，事情就大了。我拿模型写过会议纪要，内容概括得不错，但它把“列席”写成了“出席”，这两个词在体制内差别不小。从那以后我用模型做办公写作，都是让它先出草稿，人工再过一遍关键信息，人名、职务、数字、时间这几样必须核对。纯靠它自动生成直接发出去，我不敢。
知识问答的场景更微妙。表面上看就是问一句答一句，实际上用户问的东西五花八门，有的问政策条款，有的问产品参数，有的问行业术语。模型的中文知识储备够不够，直接决定它能不能接住这些提问。我做过一个测试，拿同一批问题问三个模型，问“灵活就业人员的社保怎么交”，一个答得条理清楚，一个把新旧政策混在一起说，还有一个直接编了个不存在的办理流程。知识问答最怕的就是这种编造，答得流畅但内容是假的，用户信了反而更麻烦。所以这类场景我现在必配检索，让模型基于资料回答，不让它凭记忆瞎说。
4.2 教育辅导、智能客服与多轮交互场景
教育辅导是我个人觉得最考验中文能力的场景。给成年人做知识问答，答错了对方能判断出来；给学生做辅导，答错了可能就被当成标准答案记下去了。我给我侄子试过用模型讲古诗，讲《静夜思》的背景，一个模型把创作年代说错了，另一个模型把“床前明月光”的“床”解释成睡床，其实学术界对这个问题有好几种说法。这种场景下模型的中文能力不只是“会不会”，还有“知不知道自己不确定”。我现在给教育类场景选模型，会特意测它面对模糊问题时的反应，是老老实实说有多种解释，还是硬给一个斩钉截铁的答案。后一种我不敢用。
智能客服看起来简单，实际是中文能力的综合考场。用户说话不会按套路来，有错别字、有方言词、有情绪、有省略。我见过用户打“你们这个咋退啊急”，模型要是按标准话术回一句“请您提供订单号”，用户火气更大。好的客服模型得先接住情绪，再解决问题，这个“接住情绪”靠的就是中文语感。还有个坑是多轮对话里的指代，用户说“就那个上次说的”，模型得能从上文里翻出来“那个”指的是什么。我测过一个模型，单轮问答分数很高，一放到多轮里就露馅，第三轮开始忘了第一轮说的事，回答前后矛盾。这种模型放进客服场景，用户会被绕晕。
多轮交互这个事我想多说两句。中文对话里省略和跳跃特别多，用户经常说半句话就换话题，过两轮又绕回来。模型得有这个记性和弹性。我自己做测试的时候会设计一种“打断再回来”的对话，看模型能不能把断掉的那条线接上。接得上的模型，用起来像是跟一个记性好的人在聊天；接不上的，每一轮都像在跟陌生人重新自我介绍。这个差别在短对话里不明显，对话一长就藏不住了。
4.3 行业落地中的中文能力选型要点与评估清单
行业落地选模型，我现在有一套自己的土办法，说白了就是“先场景后模型”。先把要落地的场景拆成具体任务，每个任务写三五道测试题，再拿这几道题去筛模型。这个顺序不能反，先看榜单再找场景，很容易被分数牵着鼻子走。我见过一个团队，冲着榜单第一名选了个模型，结果他们主要做的是法律文书摘要，那个模型在通用榜上很猛，一到长文档摘要就开始丢关键条款。换了个榜上排十几名的模型，反而更稳。榜单测的是平均分，你的业务只落在某一个格子里，格子里的分数才有意义。
选型清单我一般会列这么几项。中文语义理解的准确度，拿行业术语和易混淆词去测；长文本的处理能力，扔一份几十页的资料看它能不能抓住重点；多轮对话的稳定性，模拟真实用户的追问和跑题；还有生成内容的可控性，能不能按指定的格式和语气输出。这几项里，我尤其看重可控性，因为行业落地往往有格式要求，模型写得再漂亮，格式不对接不上系统也是白搭。另外就是成本，中文 token 的消耗量、并发能力、响应速度，这些工程指标得和效果一起算账。
最后说一个容易忽略的点：选型不是一锤子买卖。我现在的做法是选完模型先跑一个小范围试点，跑两周，收集真实用户的反馈，再决定要不要扩大。试点期间我会重点看两类问题，一类是模型答错的，一类是模型答得对但用户不买账的。后一类更值得琢磨，往往是语气、格式或者表达习惯的问题，调提示词能解决不少。行业落地这件事，模型的中文能力是地基，上面的房子怎么盖，还得靠场景里一点点磨。我见过太多团队把选型当成终点，选完就撒手，结果用起来一地鸡毛。选型只是起点，后面的调优和磨合才是大头。
第5章 AI模型中文能力的优化路径与发展趋势
上一章聊选型的时候，我提了一嘴“选型只是起点”。这句话不是客套，是我自己踩了坑之后长出来的教训。有个做在线教育的客户，去年底选了个中文评测分挺高的模型，头一个月用得挺顺，第二个月开始出问题。学生问文言文翻译，模型把“之乎者也”翻成英文语法结构，读起来像机翻。他们找我复盘，我问了一句：你们有没有拿自己的数据喂过它？对方愣了半天说，模型不是买来就能用吗？这个反应太典型了。中文能力这东西，出厂状态只是半成品，后面怎么打磨，才是真正拉开差距的地方。这一章我把自己见过的、试过的几条路子捋一捋。
5.1 中文数据建设、对齐训练与评测驱动优化
我去年帮一个团队做中文语料清洗，干了三周才弄明白一件事：数据量不是关键，配比才是。他们原本囤了十几个T的网页文本，觉得够用了。我抽了一批出来看，财经新闻占了一大半，小说和论坛帖子占两成，学术文献几乎没有，古文和方言素材基本为零。拿这种数据训出来的模型，写商业分析一套一套的，让它解释个成语典故就开始胡编。后来我们重新调了配比，把古文、诗词、地方志、行业标准文档按比例掺进去，模型在中文语义理解上的表现才有了肉眼可见的变化。中文数据建设这件事，堆量是力气活，配比是手艺活，两者缺一不可。我自己现在做数据方案，会先画一张“能力地图”，把语言理解、文化知识、逻辑推理、领域术语分成四个象限，每个象限列清楚需要什么类型的数据、大概多少量、质量怎么验。这张图不画，后面全是糊涂账。
对齐训练这块，我接触过几个做中文RLHF的团队，聊下来感受挺深。英文对齐有一套相对成熟的偏好数据集和标注规范，搬到中文里就不太灵。举个例子，“请帮我写一封请假邮件”这种指令，英文标注员关注的是礼貌层级和格式规范，中文标注员还会在意称谓对不对、语气是不是太生硬、有没有把“请假”写成“告假”这种不合适的书面语。这些细微差别不体现在标注手册里，全在标注员的语感里。有个团队的做法我挺认同，他们养了一支十几人的中文标注小队，每个人负责一个文体方向，写邮件的一直标邮件，写公文的一直标公文，标了半年之后，这批人对“什么样的中文回答算好”有了肌肉记忆。对齐训练的质量，说到底取决于标注的人懂不懂中文的“味道”。
评测驱动优化这个思路，我是从一次失败里学来的。之前有个项目，模型上线之后用户反馈“回答太啰嗦”，我第一反应是调提示词，加了“请简洁回答”的指令，效果一般。后来我把用户差评捞出来逐条看，发现啰嗦只是表象，真正的问题是模型在回答里塞了一堆免责声明和重复解释，用户问“这个药一天吃几次”，它先来一段“用药需遵医嘱”再说正事。这种毛病靠提示词压不住，得回到评测环节，把“信息密度”作为一个独立指标加进去，专门测模型回答里的有效信息占比。加了这一项之后，再拿它去筛模型、调模型，方向就清晰多了。评测这件事，我现在的理解是：它不只是给模型打分，更是给优化指路。指标设得糙，优化就跟着糙。
5.2 提示工程、检索增强与领域微调实践
提示工程被很多人说烂了，我本来不想多聊，但有个误区值得掰扯一下。网上流传的“万能提示词模板”我试过不少，什么角色设定、任务拆解、输出格式、思维链，全套招呼上去，效果反而不如一句大白话。我的经验是，中文提示词的关键不在结构多复杂，在于“说人话”。你写“请以专业严谨的态度进行分析”，模型给你的回答往往端着架子；你写“像跟同事讨论方案那样说，别绕弯子”，回答反而更自然。我有个做电商的朋友，他们团队写提示词有一条铁律：写完先读一遍，读着别扭就重写。这个土办法比什么框架都好使。中文的特点在这儿体现得特别明显，指令的语气、用词、甚至标点，都会影响输出。你用句号结尾和用问号结尾，模型给出的回答风格可能就不一样。提示工程做到深处，拼的是对中文语感的拿捏。
检索增强这件事，我在上一章提过一嘴，这里展开说。我做过一个法律咨询场景的测试，纯靠模型记忆回答“劳动合同到期不续签有没有补偿”，三个模型给了三个版本的答案，有一个把新旧劳动法混着说，还有一个编了个“N+3”的补偿标准，实际上根本没这个说法。上了检索之后，把劳动合同法原文和相关司法解释挂上去，模型回答的准确率提了一大截。但检索增强不是挂个知识库就完事，中文检索有它的坑。用户问“被公司炒了能拿多少钱”，检索系统得能匹配到“违法解除劳动合同的经济补偿”这条法条，这中间隔着好几层语义转换。我见过一个团队在这上面栽跟头，知识库建得很全，检索召回率上不去，用户换个说法就搜不到。后来他们在检索层加了一个中文查询改写模块，把口语化提问转成法条术语再检索，效果才起来。检索增强的核心不是“有库”，是“库和问题之间那座桥搭得稳不稳”。
领域微调我试过几次，成功率一半一半。成功的案例是一个医疗问答项目，拿三甲医院的公开问答数据和药品说明书做了轻量微调，模型在用药咨询上的准确率提升明显。失败的案例是一个金融研报场景，数据量不够，微调之后模型开始胡诌财务指标，还不如不调。我后来总结了一条经验：领域微调的门槛不在技术，在数据。你得有足够多的、高质量的、标注准确的领域语料，至少几千条起步，还得覆盖这个领域的主要任务类型。数据不够的时候，宁可先用检索增强顶着，别硬上微调。另外微调之后一定要做“灾难性遗忘”的检查，拿通用中文任务再测一遍，看看模型是不是把原来的本事丢了。我见过一个团队微调完模型，专业问答确实强了，结果写个普通邮件都开始蹦专业术语，这就是调过头了。
5.3 多模态中文能力、长上下文与可信评测发展趋势
多模态中文能力这个方向，我最近半年关注得比较多。文字、图片、语音、视频混在一起理解，对中文模型来说是新考场。我拿一张中文菜单的图片测过几个模型，让它识别菜品和价格，大部分模型能做到；让它根据菜单推荐适合三个人吃的搭配，还要考虑口味和预算，能答好的就少了。这里面有两层能力，一层是OCR识别中文，一层是用中文做饮食文化的推理。第二层才是真正的门槛。我还试过让模型看一段中文短视频，判断主播的情绪和话术风格，这个任务目前做得好的模型不多。多模态中文能力的难点不在“看得见”，在“看得懂中文语境里的言外之意”。比如一张图里写着“旺铺转让”，模型得知道这不是生意兴隆的意思，是店铺要转手。这种文化语义的捕捉，比识别文字难得多。
长上下文这件事，我的感受比较复杂。理论上上下文窗口越大，模型能处理的资料越多，实际用起来不是这么回事。我拿一份八十页的招股书测过，让模型找“风险因素”章节里关于政策风险的描述，窗口够大的模型确实能把整份文档吃进去，但它找出来的内容经常不完整，漏掉关键条款。后来我换了个测法，把文档按章节切碎，一段一段喂，配合检索定位，准确率反而更高。长上下文不是越长越好，中文文档的结构性很强，章节、条款、附件之间有逻辑关系，模型能不能理解这种结构，比能不能塞进去更重要。我现在看模型的长文本能力，会重点测三件事：能不能抓住文档的主线、能不能定位到具体条款、能不能在长文档里保持前后一致不矛盾。第三件事最容易被忽略，也最要命。
可信评测这个趋势，我觉得是接下来一两年中文评测领域最该使劲的方向。现在的榜单大多测的是“答得对不对”，很少测“答得可不可信”。什么叫可信？我自己的定义是三条：知道就说知道，不知道就说不知道，拿不准的时候说清楚哪里拿不准。我做过一个测试，拿一批中文事实性问题问模型，其中掺了两成没有标准答案的模糊问题。结果好几个模型在模糊问题上硬给答案，语气还特别笃定。这种表现放到医疗、法律、金融场景里，风险很大。可信评测要把“拒答能力”“不确定性表达”“信息来源标注”这些维度纳进来，不能只看准确率。我最近看到一个思路挺有意思，让模型在回答后面附一个“置信度自评”，再拿这个自评和实际正确率做对比，看模型是不是“心里有数”。这个指标比单纯的对错率更能反映模型的成熟度。
最后说一个我自己的判断。中文能力的优化走到今天，单点突破的空间越来越小，接下来拼的是体系。数据、对齐、评测、提示、检索、微调，这几件事不是流水线上的工序，是一个循环。评测发现问题，数据和对齐去补，补完再评测，再看下一轮问题在哪。我见过做得好的团队，都有一个共同点：他们不追新模型，追的是自己那套迭代流程跑得顺不顺。模型版本每个月都在换，流程跑顺了，换什么模型都能接得住。中文能力这件事，没有什么一招鲜，就是一圈一圈磨出来的。我写这一章不是给什么标准答案，是把我自己磨的过程摊开，你看个热闹也好，避个坑也好，总归比闷头试要强。
