折腾过好几个RAG项目之后,我慢慢发现一个事儿:绝大多数失败的项目,问题不在模型不够强,而在一开始就没想清楚自己要搭的是个什么东西。我见过太多人上来就装Milvus、拉个开源模型,跑通一个demo,然后就觉得大功告成了。真把公司文档喂进去,用户问三个问题错两个,回头一查,文档解析把表格拆得稀碎,切片把一句话从中间劈开,检索召回的压根不是相关内容。这套系统从头到尾每个环节都在漏。
所以这一章我想先把地图摊开,把整条链路和每个岔路口都讲一遍。后面几章再一个环节一个环节往下钻。我写这一章的目标不是让你马上能跑代码,是让你在动手之前心里有谱:你要建的知识库有多大,文档都是什么格式,用户会问什么类型的问题,团队有几个人,预算能烧多少。这些问题没答案,选型就是瞎选。
1.1 RAG知识库的核心概念与应用场景
RAG这个词这两年快被说烂了,Retrieval-Augmented Generation,检索增强生成。我用大白话解释一遍:大模型的知识全压在参数里,训练截止日之后的事它不知道,你公司内部的东西它更不知道。你直接问它,它要么说不知道,要么一本正经地编。RAG干的事情就是,在它开口之前,先从你的资料库里把相关的几段话捞出来,塞进它的上下文里,跟它说“照着这些材料回答”。模型有了依据,幻觉能压下去一大截。
我刚开始接触的时候以为这就是个搜索加拼接的活儿,后来踩多了坑才明白,难的是“捞得准”。检索环节的精度直接决定了生成质量的上限,捞回来的东西不对,后面的提示词写得再花哨也是白搭。这个认知很重要,它决定了你后面精力该往哪儿投。
应用场景我可以按我接触过的项目分几类。企业内部的制度问答是最常见的,HR政策、报销流程、IT规范,这类问题的特点是答案埋在长文档里,关键词搜不准,语义检索效果明显。技术文档和产品手册的问答也很典型,API怎么调、报错怎么解、参数什么意思,用户往往是带着具体问题来的,对准确率要求高。还有一类是客服和售后场景,知识更新快,今天改了价格明天上了新政策,向量库必须支持增量更新。法规合规查询则更看重可追溯性,用户要看到答案出自哪一条哪一款,引用来源必须带出来。
我自己觉得最容易做砸的是那种“什么都想装”的知识库。老板一句“把公司所有文档都放进去”,听着豪迈,实际做起来你会发现文档质量参差不齐,旧版本和新版本混在一起,权限也没区分。我在一个项目里就吃过这个亏,上线第一天销售拿到的报价规则是三年前的,场面很难看。所以范围要收窄,先解决一类高频问题,跑顺了再扩。
1.2 从文档导入到智能问答的整体链路拆解
整条链路我习惯分成两段来看:离线建库和在线问答。离线这一段是体力活,文档从各种来源进来,PDF、Word、网页、Markdown、数据库导出,格式五花八门。解析器把正文抠出来,表格能保留就保留,页眉页脚这种噪声要洗掉。接下来是切片,长文档不能整篇塞进去,得切成几百字一段的小块,切的时候还要考虑语义完整性和上下文衔接。
切完的片段交给向量模型,转成一串数字,也就是向量,存进向量数据库。这一步我称之为“把知识变成可检索的形态”。旁边还要存元数据,来源文件、标题、章节、更新时间、权限标签,这些在后面检索过滤和答案引用时都要用到。
在线这一段才是用户感知到的部分。用户提问,系统先对问题做点处理,有时候要改写,有时候要把口语化的问法转成检索友好的表达。处理过的查询拿去向量库做相似度检索,也常常配合关键词检索做混合召回。捞出来一批候选片段,交给重排模型再排一次序,取前几个最相关的,拼成上下文喂给生成模型。
我强调一下重排这一步,很多教程会跳过它。小规模知识库可以跳,几百篇文档以上,不加重排召回质量会明显下降。原因是向量相似度算的是整体语义距离,对“哪个片段最能回答问题”这种细粒度判断其实不够敏感。重排模型专门干这个,慢一点但准很多。
到了生成环节,提示词的作用就凸显出来了。你要告诉模型:只根据给定材料回答,材料里没有就说没有,回答时标明引用编号。这些约束写不写,效果差一个档次。我见过不少项目幻觉严重,追根溯源是提示词里压根没做约束,模型就自由发挥了。
整条链路看起来线性,实际每一环都可能卡住下一环。解析不干净,切片质量就差;切片不合理,向量再准也捞不到完整语义;检索召回不足,重排和生成都救不回来。这就是我说要从全局规划的原因。
1.3 技术选型:文档解析、切片、向量模型、向量库与生成模型
技术选型这块我建议你别追新,先看自己的文档构成和团队能力。解析器方面,PDF是最麻烦的一种,PyMuPDF速度快、对文字型PDF效果好,扫描件就得走OCR,pdfplumber在表格提取上更细腻一些,unstructured把各种格式统一成一种结构,适合格式杂乱的场景。我一般的做法是组合使用,主解析器加备用兜底,遇到解析失败的文件单独拎出来人工看一眼。
切片这一环我手上没有找到能完全包办的工具,LangChain的文本分割器能用,功能偏基础,语义切片那种要自己写逻辑。我倾向自己控制,因为切片策略跟你的文档结构强相关,制度文件按标题层级切,技术文档按段落加代码块切,通用工具很难兼顾。
向量模型的选择要看你用什么语言、要不要支持中英混合。bge系列在国内项目里用得挺多,bge-large-zh和bge-m3我都用过,后者支持多语言和长文本,省心。OpenAI的text-embedding-3-small便宜稳定,微软和谷歌也有对应产品,走API的好处是不用管显卡。自建的话要考虑GPU资源和推理服务部署,批量处理时的吞吐量也得测。别忘了向量模型有版本问题,换模型意味着全库要重算,这个成本要提前算进去。
向量库我按规模给个参考。一万条以下,Chroma足够,部署简单,本地跑就行。十万到百万级别,Qdrant和Milvus都是好选择,Qdrant配置轻一些,Milvus生态更完整,分布式能力强。已经有PostgreSQL的团队可以看pgvector,省一套基础设施,运维成本低。选库的时候特别要确认元数据过滤的能力,很多项目后期才发现过滤条件不给力,检索效率掉得厉害。
生成模型的选择跟预算和合规要求强相关。闭源模型里GPT系列、Claude、国内的DeepSeek、通义千问都能用,稳定省事,注意数据出境和费用评估。开源的Qwen、Llama需要自己部署,硬件成本摆在那,好处是私密性完全可控。我个人的经验是,问答场景对模型尺寸的要求没那么极端,一个中等规模的模型配上好的检索,效果往往比大模型配烂检索强。
1.4 项目目录、环境配置与最小可行版本规划
说一下项目结构,我习惯这样组织:一个ingest目录放文档导入和解析的脚本,一个chunking目录放切片逻辑,embedding目录管向量化和模型封装,vectorstore目录放库操作和检索实现,qa目录放提示词和生成逻辑,再加config、utils、tests几个公共目录。这个划分不是死的,团队小的话可以压平,但边界要清楚,后面调试的时候你会感谢自己。
环境配置我推荐Python 3.10以上,用conda或者uv建虚拟环境都行。核心依赖就那么几个:文档解析的pymupdf、python-docx、unstructured,文本处理的langchain-text-splitters可以按需,向量库的客户端,模型调用的SDK。API密钥统一放.env文件,用python-dotenv加载,千万别写死在代码里。本地开发时向量库用Docker起个容器最省事,几条命令就搞定。
最小可行版本的规划我有个原则:先小后大,先窄后宽。第一版就选二十到五十份高质量文档,同一类型,结构清晰,跑通导入、切片、向量化、检索、生成整条链路。这个阶段不要追求好看的界面,用命令行或者最简单的Streamlit页面就够,把你的精力放在观察输出质量上。问二十个典型问题,人工标一下哪些答得好哪些答得差,记录每一条的检索结果和最终答案。
这个最小版本的意义在于暴露问题。你会很快发现哪类文档解析有问题、切片是不是切断了语义、检索召回的相关性到底怎么样、提示词哪里需要调整。这些问题在没有跑通整条链路之前是想象不出来的。我见过有人一上来就搭大而全的框架,抽象层一层套一层,最后调一个问题要翻五个文件,效率极低。
跑通之后再做第二版,加文档类型、加元数据过滤、加重排、加评测集。每一轮扩展都基于上一轮暴露的问题,而不是拍脑袋加功能。这个节奏我个人觉得是最省力的,也是最能保证项目活到上线的方式。
我上个月帮一个朋友看他搭的RAG系统,问它“差旅住宿标准是多少”,模型答得头头是道,数字却对不上。我让他把原始文档调出来看,好家伙,同一份报销制度在库里存了四个版本,2021版、2022修订版、2023补充通知,还有一份是会议纪要里截图出来的。检索捞中了哪一份全凭运气。这就是我为什么把文档导入和预处理单拎出来讲一章——这一步看着最没技术含量,实际是整条链路里最容易埋雷的地方。
很多人的注意力全给了向量模型和提示词,导入环节随便写个脚本就过。我干过同样的事。后面花在排查“为什么答案不对”上的时间,远超过当初多写两个解析规则的成本。文档进来的时候是什么样,你后面能拿到的上限就是什么样。这句话我建议记在本子上。
2.1 多源文档导入:PDF、Word、网页、Markdown与数据库内容
企业里的文档来源真的杂。我第一次做内部知识库盘点,列出来的清单能把人看懵:共享盘里几百个Word制度文件,产品部门的一堆PDF手册,官网上的帮助中心是HTML,技术团队的文档在Confluence,还有些历史资料居然是Excel里整理的FAQ,每行一个问答。这些玩意儿全要进一个库,指望一个万能解析器搞定,不现实。
我的做法是按来源分通道,每个通道一个导入脚本,输出统一成同一种中间格式。中间格式很简单,就是纯文本加一组结构化字段:原文路径、标题、正文、还有基础元数据。PDF通道用PyMuPDF做主解析,遇到扫描件检测文本层是否为空,空的话转OCR流程,PaddleOCR和Tesseract我都用过,中文场景PaddleOCR的识别质量对我更稳。Word通道用python-docx,样式信息能拿到,标题级别这种信息后面切片时很有用,丢掉可惜。网页我一般用trafilatura或者readability类的库先抽正文,别直接丢BeautifulSoup一把抓,导航栏、页脚、评论全混进来,噪声大得吓人。
Markdown和数据库内容相对省心。Markdown本身就是带结构的文本,解析器直接按标题切就行。数据库导入要注意字段映射,比如一个FAQ表里问题和答案分两列,我习惯把问答对拼成“问:xxx\n答:xxx”的形式存成一段,检索时用户的问题跟这段的语义距离更近,召回效果比只存答案好。这里有个小坑提一下,Excel和CSV里经常有合并单元格、隐藏行,直接从文件读和从数据库导出的内容可能不一致,导入前我一般会把源文件的更新时间记下来,核对一遍条数。
还有一种来源容易被忽略:邮件和聊天记录导出。我接触过售后团队想把自己的工单记录做成知识库,这类数据的口语化程度很高,噪声也大,签名档、引用历史、表情符号满天飞。清洗规则得单独写,不要跟正式文档混在一个管道里跑。我的处理方式是先过滤掉长度过短和重复率过高的记录,再看效果决定要不要全量入库。
导入环节我还坚持做一个事情:原始文件归档。所有进来的文档,不管解析成功失败,原文件都留一份到raw目录,按年月分文件夹存。解析失败的单独记一个清单,人工排查。这个习惯救过我好几次,有一次解析器升级后表格提取行为变了,回头用原始文件批量重跑,问题很快定位。要是当初直接覆盖处理,连回滚的余地都没有。
2.2 文档解析与正文抽取:版面识别、表格处理与噪声清洗
PDF解析是这一节的重头戏,我干脆展开说。文字型PDF用PyMuPDF抽文本,速度很快,问题是它按坐标顺序吐文本,双栏排版的文档会串行,左栏和右栏的文字交错在一起,读出来语义全乱。我遇到过一份产品规格书就是双栏,解析出来两栏内容插花一样混着,切片之后每个块都不成句子。解法是先做版面分析,用pdfplumber拿到每个文本块的位置坐标,按x坐标聚类判断是不是双栏,再按栏分别排序输出。这个逻辑写起来不到一百行,效果立竿见影。
表格是另一个老大难。PyMuPDF对表格支持一般,pdfplumber的extract_tables好用一些,复杂合并单元格还是会出问题。我的处理原则是,能完整提取的表格转成Markdown格式保留结构,比纯文本强很多,模型读Markdown表格的理解力明显更好。提取质量差的表格,我宁可不入正文,单独把表格截图存下来,元数据里标注“含表格,见原文档第X页”。硬塞进去一堆错位的单元格文本,检索的时候反而是干扰。
扫描件和图片型PDF必须走OCR,这个没得商量。OCR出来的文本错误率比原生文本高,标点丢失、数字识别错误都常见。我在一个财务制度项目里就吃过亏,OCR把“5000元”识别成“5000兀”,检索倒是能召回,生成的时候模型原样照抄,用户看到直接炸了。后来我加了一步后处理,用正则把常见的“兀”“曰”这类形近误识别的字符替换回“元”“日”,再配合自定义词典纠错,好了一些。OCR文档我还会在元数据里打一个标记,提示下游对这类文档的答案要谨慎引用。
噪声清洗这块,我的清单是:页眉页脚、页码、水印文字、重复的版权声明、目录页、无意义的空行和连续空格。页眉页脚检测我用的办法是统计每页首尾几行文本的重复率,出现频率超过页面总数一半就判定为页眉页脚直接删掉。这招简单粗暴但很管用。目录页识别看特征,一堆“第X章……页码”的短行集中出现,基本就是目录,去掉不影响正文。
还有个细节,换行符和连字符的处理。PDF里英文单词经常被强制断行,一个词拆成两半,中间加个连字符。中文文档里也有类似问题,一句话被硬切成两行。我在清洗阶段会做一次合并,中文按标点判断句子边界重新拼接,英文处理掉行末的软连字符。这一步做完,切片的质量肉眼可见地提升。
我自己的判断标准是:处理完的文本,随机抽三段读一遍,如果读起来像人话、句子完整、没有莫名其妙的断句和重复,这一关就算过了。如果读着别扭,别急着往下走,回去改解析规则。上游的问题下游补不回来。
2.3 元数据设计:来源、标题、章节、时间与权限标签
元数据这件事,我在第一个项目里完全没当回事,觉得存个来源文件名就得了。后来要做权限过滤,发现根本没存部门信息;要做时效性排序,发现没存文档更新时间;用户点开答案想溯源,发现只能定位到文件,定位不到具体章节。回头补这些字段,意味着整个库要重新跑一遍解析和向量化,成本高得让人想哭。
现在我的元数据字段设计会提前想三层。第一层是溯源用的:文件路径、原始文件名、文档标题、章节路径、页码或者段落序号。章节路径这个字段特别有用,比如“第三章>3.2条>报销标准”,用户看到引用时能直接对上原文,信任感完全不一样。我把章节路径拼在切片文本前面一起送进向量模型,检索时章节名的语义信息也能被利用上,一举两得。
第二层是管理用的:文档创建时间、最后更新时间、文档版本号、导入时间、所属部门、文档类型。时间字段在问答场景里经常能救命,用户问“最新的规定”,检索时按更新时间加权或者过滤掉过期文档,能避掉很多坑。版本号我建议保留,遇到内容冲突的时候至少知道哪份是新的。
第三层是权限标签,这个字段必须在导入阶段就打好。我的做法是跟IT或者HR要一份组织结构对照表,文档进来的时候按来源目录映射到部门,再映射到角色权限。权限标签我一般设计成部门列表加可见范围,检索时在向量库层面做过滤,别等到生成阶段再拦,那时候敏感内容已经进了上下文,晚了。有个项目我接手的时候就是权限在应用层做的过滤,日志里能看到检索把财务文档召回给了普通员工,虽然最后没输出给用户,但这个链路本身就是危险的。
元数据字段不是越多越好,太多了维护成本高,还会拖慢检索过滤。我的经验是控制在十到十五个核心字段,每个字段都有明确的用途,不确定用途的先不加。字段值尽量用枚举或者受控词表,部门名称这种如果各部门写法不统一,“研发部”“研发中心”“R&D”混着来,过滤的时候就是灾难。
2.4 文档质量检查、去重与知识更新策略
文档质量检查我放在导入流程的最后一道关卡,做成自动加人工两级。自动检查跑几个规则:正文长度低于阈值的(比如少于五十个字)标记为可疑,可能是解析失败;空白字符占比过高的标记异常;重复行超过一定比例的标记,很多是从PDF复制粘贴带出来的格式残留;中文文档里英文字符占比异常高的也要看一眼,可能是乱码。这些规则跑完出一份报告,我每周抽时间过一遍,可疑文件逐个人工确认。
质量检查里我还会做一件事,抽样阅读。每个批次随机抽十段处理后的文本,从头到尾读。自动化规则抓不到的问题,比如语义断裂、表格文字混进正文、标题层级混乱,人眼一扫就能看出来。这件事花不了多少时间,但能提前发现系统性的解析问题。
去重是另一个必须做的环节。我遇到过最夸张的情况是同一份制度在三个不同目录下各存了一份,内容完全一样,只是文件名不同。入库之后检索每次都召回三条一样的,浪费上下文窗口不说,还会拉低重排的效果。我的去重分两层做。第一层用文件哈希,完全相同的文件直接跳过。第二层做文本相似度,切片之后计算片段的向量,相似度超过一个阈值(我一般设0.95左右)的认为重复,保留元数据更完整的那一条。MinHash加LSH这种近似去重方法在文档量大的时候效率更高,可以了解一下。
近似重复的情况更麻烦,同一份文档有细微修改的多个版本。纯文本相似度判断不出来“2022版”和“2023版”的区别,因为改动可能只有几个数字。这种情况我靠元数据兜底:版本号、更新时间、生效日期这些字段建好了,检索阶段按时间倒序加权,新的优先。同时我会在入库时维护一张文档版本表,记录每个逻辑文档的所有版本和当前生效版本,旧版本的切片标记为历史版本,检索时默认过滤掉。
知识更新策略要提前定规则,别等出了问题才想。我的规则大概是这样:文档的更新时间字段发生变化就触发重新解析和向量化,旧切片全部删掉再写新的,不做增量合并。为什么不做增量?因为切片边界可能变了,增量更新会留下大量孤儿切片,检索时全是噪声。全量重跑听起来笨,但对单个文档来说成本完全可控。
对于没有明确时间戳的文档,比如从网页抓下来的帮助中心内容,我靠抓取时间加内容哈希来判断。哈希变了说明内容更新了,重新入库。哈希没变就跳过,节省计算。网页这种来源还要定期重抓,我一般设一个月一次,用定时任务跑,抓完比对哈希,有变化的生成变更报告人工确认后入库。
更新这块我还想提一个容易忽略的点:删除。文档下架或者作废了,知识库里的切片要同步清理,不然模型还会拿过时信息回答问题。我的做法是源文件系统里维护一个状态字段,作废的文档打标记,导入脚本读到标记就把对应的切片从向量库删掉。这个机制不复杂,但要有,很多项目压根没考虑删除场景,库里的内容只增不减,越用越脏。
整章写下来,你可能会觉得这些活儿琐碎、没技术含量、不出彩。我的看法恰恰相反,这部分做得扎实,后面切片和检索环节会感谢你。知识库这东西,输入决定了上限,我宁愿在导入阶段多花三天,也不想上线之后天天被用户拿着错误答案来找我。
我见过一个最贵的切片错误。客户的合同里写着“逾期付款违约金按日万分之五计算,超过三十日的部分按日万分之八计算”。切片工具按固定长度切,正好切在“超过三十日的部分”那里,“按日万分之八”被甩到了下一个块。用户问“逾期超过三十天违约金多少”,检索只召回了前一个块,模型答“万分之五”。客户拿着合同来找我,那个表情我到现在还记得。
切片这事,看着是预处理里最不起眼的一步。我一开始也这么觉得,写个循环按字数切呗,能有多难。后来才明白,切片决定了检索能捞到什么、模型能看到什么,它是整条链路里承上启下的位置。上游解析的成果在这里被重新组织,下游检索和生成的质量在这里被锁死上限。
3.1 文档切片策略:固定长度、语义切片、按标题层级与重叠窗口
固定长度切片是我最早用的方案,512字符一刀切,带50字符重叠。好处是简单、可预测、计算量小,一万份文档跑起来也不心疼。坏处是它完全不看内容。句子切一半、表格切两截、标题和正文分家,这些事天天发生。我试过调参数,256太碎,1024又太粗,512是折中,但本质上还是拿一把尺子量所有东西。
语义切片我是后来才用上的。思路不复杂,把文档先按句子拆开,相邻句子算向量相似度,相似度骤降的地方就是话题变了,在这里切一刀。效果确实比固定长度好,切出来的块读起来更像一个完整意思。代价是慢,还要额外调一次向量模型。我一般用在重点文档上,比如产品手册、政策文件这种。海量普通文档还是固定长度凑合,成本划不来。
按标题层级切是我现在的主力方案。制度文件、技术文档、合同这类东西,本来就带着作者写好的结构,H1、H2、H3一层层下来,每一节讲什么清清楚楚。我直接按标题边界切,一个小节一个切片,超长的小节再往下按句子分。这个方法切出来的块语义完整度最高,因为作者写的时候就是按这个逻辑组织的。前提是上游解析得把标题层级保住,这就得回到上一章说的,Word解析要把样式信息留下来,Markdown解析要认标题符号。
重叠窗口是个补丁,不管用哪种策略我都会加一点。重叠比例我一般设10%到20%,主要是防边界信息丢。比如一个条件句的“如果”在上一个块、“那么”在下一个块,没有重叠的话两个块都不完整。重叠太多也麻烦,检索时容易召回一堆内容重复的片段,浪费上下文窗口,重排的时候还得去重。15%左右是我试下来比较舒服的区间。
3.2 粒度选择、上下文保留与元数据绑定
粒度这个词听着抽象,说白了就是一块切多大。切太小,比如一百来个字,一个完整的条件句都装不下,“在以下情形下可以申请……”后面就没了,检索精度是上去了,但语义碎得没法用。切太大,两千字一块,里面混了三四个主题,向量被平均稀释,用户问东它召回西。中文场景我试下来的经验区间是300到800字符,制度条款偏短取300出头,技术文档偏长取700左右。没有绝对标准,得拿自己的数据试。
上下文保留是我特别想强调的一个技巧。切片单独拿出来看,经常不知道在说什么。比如一个块写着“该费用由申请人所在部门承担”,哪个费用?哪个部门?往上翻才知道是“差旅住宿超标部分”。我的解决办法是在切片文本前面拼一个上下文头,格式是“文档标题 > 章节路径”。这一小段拼进去之后,切片的语义自洽了,向量里也带上了主题信息,检索命中率能提一截。成本几乎为零,收益很明显。
元数据绑定是切片的身份证。每个切片我都要求带这些字段:切片ID、父文档ID、章节路径、字符偏移量、文档版本。切片ID用于溯源和去重,父文档ID用于删除时批量清理,章节路径给用户看引用,字符偏移量能定位回原文的准确位置。这些东西在切片生成的时候顺手就打了,事后补就得全量重跑。我在一个项目里就吃过亏,切片是生成了,没存偏移量,用户点引用只能跳到文件首页,体验差得被投诉。
3.3 向量模型选型与向量化流程:批量处理、归一化与版本管理
中文场景的向量模型,我常用的几个:bge-large-zh-v1.5、bge-m3、m3e-base。bge-large-zh-v1.5在中文语义匹配上表现稳定,维度1024,我大部分项目用它。bge-m3支持多语言和长文本,切片长度经常超过512token的话值得考虑。m3e-base轻,跑得快,资源紧张的时候是个不错的备选。OpenAI的text-embedding-3系列也能用,调用方便,中文效果不如专门的国产模型,而且要考虑数据出境的合规问题。选型没有最优解,看你的语言、长度、成本和部署条件。
批量处理是工程上的事。一次送一个切片进模型太慢,我一般batch size设32到64,看显卡显存。批量大了显存吃紧,批量小了吞吐上不去。我习惯先跑一小批测一下单条耗时和显存占用,再定参数。大文档库我还会做断点续跑,每处理一千条存一次进度,中途挂了不用从头再来。这个细节很多教程不讲,真跑几十万条切片的时候能救命。
归一化是个容易被忽略的步骤。有些向量模型输出的向量没有做L2归一化,直接存进去用内积检索,结果会偏。我的习惯是向量化之后统一做一次L2归一化,存进库的都是单位向量,这样内积就等于余弦相似度,距离度量怎么配都不会错。不同模型的输出分布不一样,归一化之后可比性也好一些。
版本管理这事我踩过大坑。换了个向量模型,只把新文档用新模型跑了一遍,旧文档的向量没动。结果向量库里混着两个模型产出的向量,它们根本不在一个语义空间里,检索结果乱七八糟,谁也说不清为什么召回不准。从那以后我立了规矩:向量模型版本、切片策略版本、向量库集合名,三者绑死。换模型就建新集合,全量重跑,旧集合保留一段时间做对比,确认新版本效果更好再切换。听起来笨重,但这是唯一不出错的办法。
3.4 切片质量评估:召回相关性、语义完整性与可追溯性检查
切片做完了不能直接上线,得评估。我用的第一个指标是召回相关性。做法是从文档里挑五十到一百个真实问题,人工标注每个问题的答案落在哪些切片上。然后拿这些问题去检索,看TopK里有没有命中标注的切片,算命中率。命中率低于七成,说明切片粒度或者检索配置有问题,得回去调。这个测试集做完别扔,后面改切片策略、换模型、调参数,都拿它回归测试,很省心。
语义完整性靠人读。我每次生成切片之后会随机抽二十到三十个块,从头到尾读一遍。读的时候问自己三个问题:这段话说的是不是一件完整的事?离开原文还能不能看懂?有没有莫名其妙断在半句话上?自动化指标测不出这些,只能靠眼睛。我就在抽样里发现过一类问题,表格被切碎之后,表头和内容分家,切片里全是孤零零的数字,没有任何信息量。这种块不如不切,整表转成Markdown塞进一个块反而更靠谱。
可追溯性检查是最后一道关。我要求每个切片都能反向定位到原文的具体位置,用户点引用能看到出处,我排查问题时也能快速找到源头。检查方法很简单,随机抽切片,用元数据里的偏移量回原文截取对应片段,跟切片内容比对,看是否一致。不一致说明偏移量记录有误,可能是清洗阶段改了文本长度没同步更新。这个检查我一般写个脚本自动跑,抽查一百条,有错就全量排查。
切片评估是个迭代过程,没有一次到位的事。我一般的节奏是:先按经验值跑一版,建测试集评估,看哪些类型的文档召回差,针对性地调切片策略或者粒度,再评估。两三轮下来基本就稳了。别指望一开始就设计出完美方案,数据会告诉你该怎么改。
上一章把切片和向量都准备好了,我手里攒着一批带元数据的向量文件,像一箱贴好标签的零件。这一章要把它们装进向量库,再让检索链路跑起来。我见过不少项目卡在这一步:向量算完了,查一下能出来结果,真到问答环节却总召回些莫名其妙的东西。问题往往不在模型,而在库的配置和检索链路的组装方式。
向量库不是把向量塞进去就完事。集合怎么建、距离度量选哪个、索引参数怎么设,这三件事定下来,后面改起来成本很高。我现在的习惯是先用小样本把配置跑通,再全量入库,省的返工。
4.1 向量数据库选型与索引配置:集合设计、距离度量与持久化
选向量库我一般看四个条件:数据量、过滤需求、部署方式和团队熟悉度。几万到几十万条切片,pgvector 就够用,直接挂在 PostgreSQL 上,元数据过滤用 SQL 写,运维成本低,小团队上手快。上百万条、还要做多租户和分区,我会选 Milvus 或者 Qdrant。Milvus 的生态和文档全,集群方案成熟,配置项多,调起来要花点时间。Qdrant 的过滤表达能力好,payload 里放元数据很顺手,单机部署也简单。Chroma 适合做原型,本地跑跑验证链路,生产环境我用的少。Faiss 是库不是服务,性能强,持久化和增删改要自己包一层,适合对延迟极敏感、又愿意写工程的场景。
集合设计我吃过亏。早期一个项目所有文档塞一个集合,元数据就存了个文档 ID。结果客户要按部门隔离数据,我只能在检索后过滤,召回一千条再筛掉九百条,延迟和准确率都难看。现在的做法是按业务域建集合,或者至少用分区键把租户、部门、文档类型分开。集合名带上向量模型版本和切片策略版本,比如 kb_bge_large_v1_chunk512,换模型就建新集合,别在原地改。这个命名规则看着啰嗦,排查问题时能救命。
距离度量要跟向量模型对齐。向量做了 L2 归一化,内积和余弦相似度等价,我一般选内积,计算快,Milvus 和 Qdrant 都支持得好。没做归一化的向量,老老实实用余弦,别用内积硬扛。L2 距离我也用过,数值范围和余弦不一样,阈值调起来心里没底,后来统一成内积加归一化,省事。
索引配置我常用 HNSW。参数 M 控制每个节点的连接数,设 16 到 32 之间,大了内存吃紧,小了召回率掉。efConstruction 建索引时用,设 200 左右,建得慢一点,查询质量稳。查询时的 ef 参数我一般从 64 起调,看召回和延迟的平衡点。数据量特别大、内存有限的时候,IVF_PQ 更合适,nlist 按数据量开平方估,nprobe 调到能覆盖目标召回率。索引参数没有标准答案,我习惯拿上一章那套测试问题跑一遍,看召回率曲线再定。
持久化这事别偷懒。Milvus 依赖 MinIO 和 etcd,Qdrant 有本地磁盘持久化,pgvector 跟着 PostgreSQL 的备份走。我要求向量库的备份策略和业务数据库一个级别,切片原文、元数据、向量三者要能一起恢复。有个客户只备份了向量,没备份切片原文,库挂了之后向量还在,引用来源全丢了,问答系统成了只会说话不带出处的瞎子。
4.2 文档入库流程:切片写入、元数据过滤与增量更新
入库流程我拆成三步:校验、写入、对账。校验是写入前检查切片字段完整不完整,切片 ID、父文档 ID、章节路径、向量维度、模型版本,少一个都不让进。我写过一个校验脚本,拦下过一批维度对不上的向量,原因是批量处理时混用了两个模型。这种错不拦,进了库就是隐形炸弹。写入用批量接口,一批五百到一千条,比一条条写快一个数量级。写的时候带上元数据,别只存向量和文本,过滤和溯源全靠这些字段。
元数据过滤是检索链路里最容易被低估的能力。用户问“2024 年修订版里的报销标准”,你不光要语义匹配,还要把版本和时间范围卡住。我的做法是把常用过滤字段建成索引,Milvus 的 scalar index、Qdrant 的 payload index、pgvector 的 B-tree 都行。过滤字段别太多,来源、文档类型、版本、时间、权限标签,这几类够用。过滤条件放在向量检索之前还是之后,各家实现不一样,Qdrant 支持带过滤的检索,Milvus 有 expr 参数,写之前确认一下行为,别让过滤变成事后裁剪。
增量更新我按文档粒度做。一份文档更新了,先用父文档 ID 把旧切片全删掉,再写入新切片,别试着逐条比对更新,切片边界一变,ID 全对不上。删除用批量删除接口,按父文档 ID 过滤,一次清干净。更新时间我记在元数据里,配合版本号,检索时可以只查最新版本。全量重建索引放在低峰期跑,跑之前把旧集合留着,新集合验证通过再切流量。这个切换流程我写成脚本,人工只做确认,减少手滑。
入库之后要做对账。我一般统计三个数:源文档数、切片数、向量库里的记录数。三个数对不上就查,常见原因是解析失败没记录、写入超时被吞、删除条件写错多删了。对账脚本每天跑一次,发现问题早,比用户投诉了再查强。
4.3 基础检索实现:向量检索、关键词检索与混合检索
向量检索是主力。用户问题进来,先用同一个向量模型编码,注意模型版本要和入库时一致,编码时加不加指令前缀也要一致,bge 系列有些版本对查询和文档的处理不一样。拿查询向量去库里搜 TopK,K 我先设 20 到 50,后面还要重排,不用一次定死。相似度阈值我一般设 0.5 到 0.65 之间,低于阈值的直接丢,宁缺毋滥。阈值设太低,召回一堆不相关的块,模型容易被带偏。阈值设太高,有些问题换个说法就召不回来。这个值拿测试集调,别拍脑袋。
关键词检索不能丢。向量检索对专有名词、产品型号、合同条款编号这类精确匹配不敏感。用户问“GB/T 19001 里关于文件控制的要求”,向量可能召回一堆质量管理体系的泛泛内容,真正带标准编号的块反而排在后面。我一般用 BM25 做关键词通道,Elasticsearch、OpenSearch 都行,轻量一点用 rank_bm25 库本地跑。中文分词用 jieba 或者 HanLP,领域词表加进去,型号、缩写、内部术语单独维护一份词典,效果立竿见影。
混合检索我用 RRF 融合,Reciprocal Rank Fusion,不依赖两路分数的量纲,实现简单。两路各取 Top50,按排名算融合分,取融合后的 Top20 进重排。权重可以调,我一般向量路权重略高,关键词路兜底。也试过加权分数融合,要归一化两路分数,调参麻烦,RRF 更稳。查询改写放在检索前做,用户问题口语化严重的时候,先让模型改写成两三个检索友好的查询,分别去搜再合并,召回率能提一截。改写要注意别改丢关键实体,型号、编号、时间这些原样保留。
检索链路我要求可观测。每次检索记录查询原文、改写后查询、各路召回结果、融合排名、耗时。出问题的时候能回放,看是哪一路漏了、哪一步排序错了。这些日志别只存不看,我每周抽几十条看一遍,能发现不少切片和元数据的问题。
4.4 检索结果重排与上下文组装:TopK、阈值、去重与引用来源
重排是检索链路的第二道筛子。混合检索召回的 Top20 里,真正相关的可能就五六条,顺序还不一定对。我一般用交叉编码器做重排,bge-reranker 系列中文效果不错,把查询和每个候选块拼一起打分,按分数重排。重排模型比向量模型慢,候选数控制在 20 到 50 之间,多了延迟扛不住。分数阈值也要设,重排后低于阈值的块不进上下文,我一般取重排分数的相对位置加绝对阈值双卡。
去重是必做步骤。重叠窗口会让相邻切片内容重复,混合检索两路召回也可能撞车。我按切片 ID 去重,再按文本相似度做一次近似去重,相似度高于 0.9 的只留分数高的那条。同一文档的多个切片进上下文时,我还会做一次相邻合并,把字符偏移量连续的块拼回去,减少上下文里的割裂感。合并要注意总长度,别把上下文窗口撑爆。
上下文组装我按固定模板来。每个块前面加来源标记,格式是 [来源:文档标题 > 章节路径 > 切片ID],块之间空一行。系统提示词里明确要求模型只基于给定上下文回答,引用时带上来源标记。上下文总长度我控制在模型窗口的六成左右,留出空间给问题和回答。块数一般放 5 到 8 条,按重排分数从高到低排,重要的放前面,模型对开头和结尾的内容注意力更集中。
引用来源要给到用户能点的粒度。切片 ID 对应回原文的字符偏移量,前端拿偏移量跳转到文档预览的准确位置,高亮显示。这个体验差别很大,用户看到答案能一键定位到原文那一段,信任感完全不一样。我还会在回答末尾附一个来源列表,列出用到的文档标题和章节,方便用户核对。
上下文里放不下的块要舍得丢。我见过为了多塞内容把窗口撑满的做法,模型反而抓不住重点,回答又长又散。宁可少放两条高分的,也别塞一堆低分的凑数。检索链路的终点不是召回最多,是让模型看到最该看的那几段。
检索链路跑通那天,我盯着终端里返回的那几条上下文,心里清楚这还只是个半成品。向量库能查、重排能排、上下文能拼,这些都是管道,用户真正在乎的是问一句话能不能得到靠谱答案。上一章结尾我提到检索的终点是让模型看到最该看的几段,这一章就是把那几段变成回答,再把整个系统推到能上线的程度。
我做过一个内部测试,同样五条高质量上下文,提示词写得随意和写得讲究,回答质量差出一大截。有人觉得接个大模型就完事,提示词随便贴一段模板,结果模型爱自由发挥,引用来源瞎编,用户一问细节就露馅。生成这一环不是模型强就够,约束得给到位。
5.1 智能问答提示词设计:系统指令、上下文约束与引用回答
系统指令我一般分三块写,角色定位、行为边界、输出格式。角色定位说清楚这个助手是谁、服务谁、擅长什么,比如“你是公司内部制度助手,回答基于提供的制度文档”。行为边界是重点,我会明确写:只使用给定上下文回答,上下文里没有的信息直接说不知道,不许编造。这句“不知道”的授权很关键,很多项目答得离谱,就是因为模型不敢承认没找到。
上下文约束我放在系统指令后半段,用分隔符把用户问题、检索到的上下文、历史对话分开。上下文块按上一章的模板带来源标记,指令里要求引用时原样带上标记。我还会加一条:如果多个来源冲突,指出冲突并列出各自出处。这条不是每个场景都要,做合规和制度类问答时特别有用,用户看到“两份文件说法不一致”比看到一句确定但错误的答案强得多。
引用回答这块我专门调过。早期让模型自由写引用,它经常把来源标记丢在段落中间,或者干脆忘掉。后来我在提示词里给一个输出结构:先给结论,再给分点说明,每个分点后面跟来源标记,最后列一个来源清单。试了几轮,引用准确率明显上来。还有一个小技巧,把来源标记的格式写得非常具体,给出一个例子,模型照抄格式的能力比理解抽象描述强。
温度参数我会调低,问答场景用 0.1 到 0.3 之间,宁可回答稳一点,也别让它发挥。有些团队喜欢拉高温度让回答自然,我试过,制度类问答上下文里就那几段话,温度一高模型就开始自己补充延伸,忠实度掉得厉害。生成最大长度也要设,不设的话遇到复杂问题容易生成一大段废话,把引用和结论都稀释了。
5.2 RAG智能问答检索效果优化方法:查询改写、混合检索、重排与切片调优
检索优化我按顺序排查,先看查询改写,再看混合检索,然后重排,最后才动切片。这个顺序有讲究,前面的改动成本低、见效快,切片调优是最后手段,一动就要重建索引,费时费力。我见过上来就改切片大小的,折腾几天效果没起色,回头看是查询改写没做。
查询改写我分两类。一类是口语化转书面语,用户问“出差住宿能报多少”,改写成“差旅费住宿标准 报销额度”,检索命中率立刻不一样。另一类是问题拆解,复杂问题拆成两个子查询分别检索再合并。改写用一个小模型就够,成本低延迟小,我一般让它输出两到三个改写版本,并行检索后按 RRF 合并。改写有个坑,模型容易把型号、编号、日期改掉,我在提示词里明确要求保留原问题里的数字和专有名词,还在结果里加了一道校验,改写后实体丢失的直接退回原查询。
混合检索和重排的调优上一章讲过基础实现,这里说线上调法。我会把检索链路的每一路结果单独记录,跑一批测试问题,看哪类问题向量路召回差、哪类关键词路召不回。制度条款编号类问题关键词路权重调高,自然语言描述类问题向量路权重调高。重排模型我一般固定用同一个,候选数从 20 调到 30 再试 50,看延迟和效果的平衡点,大部分场景 30 左右够用。
切片调优放在最后。判断要不要调切片,我看两个信号:重排后的高分块经常被截断,或者上下文里相邻块内容重复太多。截断说明切片太大,重复说明重叠窗口设宽了。调切片之前先确认不是查询改写和重排的问题,我吃过这个亏,切片从 512 调到 256,重建了一遍索引,效果只涨了一点点,真正的原因是重排候选数设太少。切片调优我建议一次只改一个参数,切片长度或重叠窗口,改完跑同一批测试问题对比。
还有一个容易被忽略的点,元数据过滤的调优。用户问题里带时间、部门、版本这些条件,检索时能不能准确转成过滤条件,直接影响召回质量。我让查询改写模型同时输出过滤条件,格式化成结构化字段,检索前校验一遍。这块做细了,很多“答非所问”的问题自己就消失了。
5.3 问答效果评测体系:命中率、忠实度、相关性、延迟与人工反馈
评测这件事我一开始做得粗糙,拿十几个问题手动问一遍,感觉差不多就上线了。后来客户拿一个我测试时没覆盖的问题来问,答案错得离谱,我才老老实实建评测集。评测集我按业务场景分桶,每桶二三十条,覆盖常见问题、边界问题、多文档交叉问题、应该拒答的问题。问题从真实用户日志里抽,改一改脱敏,比自己拍脑袋想的质量高。
命中率看检索层,标准答案所在的切片有没有被召回、排在第几。我一般看 Top5 命中率和 MRR,Top5 没召回的,生成层再强也白搭。忠实度看生成层,答案里的每句话能不能在上下文里找到依据,这个我一部分靠人工标注,一部分用模型辅助判断。相关性看答案有没有正面回答用户问题,有些回答忠实度很高,引用的内容也对,就是绕来绕去没答到点上。
延迟我分三段看:检索耗时、重排耗时、生成耗时。线上环境我盯 P95,不看平均值,平均值好看但长尾能把用户气走。检索加粗排控制在几百毫秒,重排控制在几百毫秒,生成首字延迟控制在一到两秒,这几个数是我做内部知识库时的目标,对外服务要求更高。延迟超标先看哪一段,别笼统说系统慢。
人工反馈我做了两套,显式反馈和隐式反馈。显式就是回答下面的赞和踩,加一个可选的原因输入框,用户点踩时选“答非所问”“引用错误”“信息过时”这类标签。隐式反馈看用户行为,点开引用来源的比例、追问率、复制答案的比例。追问率高往往说明第一轮没答好。这两套数据我每周汇总一次,挑出踩得多的回答逐条看,反推是检索问题还是提示词问题。
评测不是上线前做一次就完事。我现在的习惯是每次改提示词、改检索参数、换模型版本,都跑一遍回归评测集,和上一版对比。改动带来的提升和回退都要记录,别凭感觉说“好像好了一点”。评测集本身也要更新,业务在变,用户问法在变,半年不更新的评测集参考价值很有限。
5.4 系统集成、权限控制、监控日志与持续迭代上线
系统集成这块,我一般把 RAG 服务包成一个内部 API,问答接口、检索接口、文档管理接口分开。前端、企业微信、客服系统都调同一个问答接口,鉴权走网关统一做。接口返回里带上答案、引用来源列表、本次请求的 trace ID,trace ID 贯穿检索和生成,排查问题时拿它一查到底。
权限控制必须在检索层做,不能等生成完再过滤。我按文档的权限标签在向量库过滤条件里卡住,用户能看哪些文档,检索时就只在这些文档里搜。权限标签和公司的组织架构打通,部门变更、人员离职这些事走同步任务,别手工维护。有个细节要处理,用户对某个文档没权限,但问题是关于这个文档的,不能让模型基于无权文档的内容回答,也不能明确告诉用户“有这个文档但你没权限”,回答就说没找到相关信息。
监控日志我记几类。请求日志记查询原文、改写结果、召回切片 ID、重排分数、最终上下文、生成答案、各段耗时。异常日志记检索为空、生成超时、引用标记缺失这些情况。业务日志按天统计问答量、拒答率、点踩率。日志里的用户问题要脱敏,手机号、身份证号这类信息入库前处理掉。我见过日志存了原始问题没脱敏,后来做数据审计被挑出来,返工很麻烦。
上线我走灰度,先放一个部门用,跑一到两周,盯着点踩率和人工反馈。有问题在这期间改,提示词和检索参数都还能动。稳定之后扩到全公司,扩之前把监控告警配上,生成失败率、延迟 P95、检索空结果率设阈值,超了发通知。持续迭代靠两件事,一是评测集回归,二是线上 badcase 收集。我每周固定花半天看 badcase,分成检索漏召回、切片质量差、提示词没覆盖、知识本身缺失几类,按类排优先级修。
整套系统跑顺之后,我发现最花时间的不是搭链路,是维护知识质量和盯着 badcase 迭代。向量库、重排模型、提示词这些组件都有现成方案,真正拉开差距的是对业务问题的理解和对失败案例的耐心分析。这套东西没有一劳永逸的上线,只有持续打磨的过程。