1.1 RAG技术原理与文档问答适用场景
我最早做AI知识库搭建教程时,把RAG技术想得特别简单。以为把文档丢给大模型就能问答,结果问“报销流程第几步需要财务复核”,模型编了一段听起来合理但完全不对的答案。后来我才明白,RAG技术的核心是检索增强生成:先从文档库里找出相关片段,再把片段和问题一起交给模型生成回答。检索质量决定了回答的下限,生成模型决定表达的上限。
文档问答实战里,RAG特别适合企业制度查询、产品手册问答、客服知识库、内部培训资料检索这类场景。我见过一个售后团队,把三百多页维修手册做成问答,新人查故障代码快了很多。它不适合实时行情、强推理计算、开放闲聊。我一般会提醒客户,先看问题是否依赖私有文档,再看答案是否需要引用原文出处。
我自己踩过一个坑:把会议纪要也塞进知识库,结果检索出来的片段太碎,回答质量掉得厉害。文档问答实战不是文档越多越好,场景越聚焦,RAG链路越容易调。适用场景判断清楚,后面选型和部署会省很多力气。我建议在项目启动前,拿二十个真实问题做小样本验证,看看检索能不能找到对的片段。
1.2 AI知识库整体架构:文档层、检索层、生成层与应用层
我画过好几版架构图,越画越觉得AI知识库不是单个模型的事。文档层负责采集、解析、清洗和切分,检索层负责向量化、索引、召回和重排,生成层负责接大模型和构造Prompt,应用层负责API、前端、权限和日志。四层拆开看,每一层都有独立的验收标准。
有个客户一开始只想买个大模型API,觉得架构是多余的。我让他把PDF里的表格和扫描件先跑一遍解析,他才发现文档层就卡住了。文档层没做好,检索层拿到的全是脏文本,生成层再强也救不回来。我通常把文档层的解析质量当成第一优先级,尤其是合同、手册、制度文件这类带表格和层级的资料。
检索层我最关注召回和重排的配合。向量检索能解决语义相似,关键词检索能补精确匹配,混合检索在我做的文档问答实战里更稳。生成层我会限制模型只根据上下文回答,应用层则要提前考虑权限过滤和引用展示。架构分层不是学术洁癖,是方便定位问题。哪一层出毛病,日志和指标能直接指过去。
1.3 AI知识库本地部署需求分析与资源规划
本地部署需求分析,我一般从数据量、并发量、响应时间和预算四个角度问。数据量决定向量库规模和Embedding计算量,并发量决定API服务和模型服务要不要做队列,响应时间决定用多大的生成模型,预算决定GPU是租还是买。我见过一个团队上来就要本地部署70B模型,聊完发现每天只有十几个人用,资源规划明显过度。
资源规划里,GPU显存是最容易被低估的。Embedding模型、重排模型、生成模型都要占显存,我通常先列清楚每个模型的服务形态。CPU和内存也别只看峰值,文档解析和批量向量化阶段会突然吃满。存储要留出原始文档、解析中间件、向量索引和日志的空间。网络方面,本地部署不等于断网,模型下载、依赖安装和监控上报都要考虑。
我踩过的坑是没算运维人力。本地部署不是装完就完事,模型升级、向量库备份、权限变更、故障排查都要人。我的做法是做一个简单的资源清单:硬件、软件、数据、人力、时间。清单越具体,后面联调越少扯皮。小团队可以先从一台带GPU的服务器起步,把文档问答链路跑通,再按并发增长扩。
1.4 向量数据库选型对比:能力指标、成本与决策清单
向量数据库选型对比,我一般不看厂商宣传页,先看自己的能力指标。检索延迟、召回率、过滤能力、混合检索支持、水平扩展、备份恢复、权限控制、部署复杂度,这几项够我筛掉一批。文档问答实战里,元数据过滤特别重要,比如按部门、文档类型、更新时间过滤。过滤能力弱的向量库,后面做权限隔离会很痛苦。
成本这块我分显性成本和隐性成本。显性成本是服务器、云服务、许可证,隐性成本是学习曲线、运维投入、迁移难度。我试过Chroma做原型很快,数据量上去后开始关心分布式和备份。Milvus功能全,部署和调优要花时间。Qdrant轻量,过滤体验不错。PGVector适合已有PostgreSQL的团队,少维护一个组件。Elasticsearch做混合检索顺手,向量能力也在补。没有万能选型,只有匹配当前阶段的选型。
我通常给客户一张决策清单:数据规模多大、要不要混合检索、要不要多租户、团队熟悉什么技术栈、能不能接受云托管、未来半年会不会翻倍。清单填完,答案往往自己浮出来。我建议先做小规模压测,别只看 benchmark。向量数据库选型错了,后面增量更新和版本管理都会难受。
1.5 项目目标、数据范围与验收标准定义
项目目标我一般写成可验证的句子。比如“让客服在三十秒内查到产品手册里的故障处理步骤,回答附带原文引用”,比“提升知识获取效率”有用得多。目标里要有用户、场景、动作和指标。我见过项目目标写成“搭建一个AI知识库”,验收时没人说得清算不算成功。目标越具体,后面范围控制越容易。
数据范围要提前划边界。哪些文档进、哪些不进,权限怎么映射,更新频率多高,历史版本要不要保留,这些都要写下来。我做过一个项目,法务文档和销售话术混在一个库,检索时经常串。数据范围不是技术问题,是业务边界问题。我建议先选一个部门、一类文档做试点,跑通文档问答实战再扩。
验收标准我分三层:检索层看召回率和TopK命中,生成层看答案准确率和引用正确率,应用层看响应时间和用户满意度。测试集从真实问题里抽,别自己编。我一般要求至少五十条问题,覆盖常见问法、模糊问法和权限边界。验收标准写进项目文档,开发、业务、运维都认同一套口径,上线后少很多争议。
2.1 搭建步骤总览:从环境准备到问答上线
我习惯把整个搭建过程拆成一条线来看:环境准备、文档入库、切分与元数据、向量化、检索链路、生成链路、服务集成、联调上线。这条线不是瀑布式往下走,实际做的时候经常来回跳。比如向量化跑完才发现切分粒度不对,又得回头改文档层。我一般会先把主链路串起来跑通一个最小闭环,再逐段加料。最小闭环就是拿十篇文档,跑通采集、切分、向量化、检索、生成、返回答案这六步。这六步走通了,后面就是加量、加权限、加监控。
有个朋友问我能不能跳过文档清洗直接向量化,我说能跑,但问答效果会让你怀疑人生。环境准备阶段我会先确认三件事:Python版本和依赖能不能装齐,GPU驱动和显存够不够跑Embedding和生成模型,磁盘空间能不能放下原始文档和向量索引。这三件事没确认完就装组件,后面排查依赖冲突能花掉一整天。我通常在项目目录里放一个requirements.txt和一个环境说明文件,谁来接手都能快速复现。
搭建步骤总览里我最看重的是每步的输入输出定义。文档采集的输入是原始文件目录,输出是统一格式的中间文档。切分的输入是中间文档,输出是带元数据的chunk列表。向量化的输入是chunk列表,输出是向量库里的记录。我把这些定义写在README里,团队里谁做哪段都能对得上。没有这层约定,联调时经常出现字段对不齐的情况。
2.2 文档采集、解析、清洗与格式兼容处理
文档采集这块我踩过不少坑。客户给的文件格式五花八门,PDF、Word、Excel、PPT、扫描件、网页存档都有。PDF里最麻烦的是双栏排版和扫描版,双栏解析出来经常串行,扫描版得走OCR。我一般先用PyMuPDF试解析,遇到扫描件再切到OCR流程。Word用python-docx能拿到段落和表格,Excel要把每一行转成结构化文本,PPT按页提取文字。网页存档我一般先转成Markdown再处理。
解析出来的文本不能直接进切分,中间得做清洗。页眉页脚、页码、水印文字、重复的空行、乱码字符,这些都会污染检索结果。我写过一个清洗脚本,把连续三个以上空格压成一个,把只有数字的行去掉,把重复出现的公司名页眉删掉。表格清洗要小心,合并单元格解析出来容易错位,我一般把表格转成Markdown表格保留结构,实在解析不了的转成图片走多模态模型描述。
格式兼容处理我一般做一层文本标准化:统一编码转UTF-8,统一换行符,统一日期和数字格式。有个项目里文档同时存在简体繁体,检索时经常召回不相关片段,后来加了繁简转换才稳定。清洗完的文档我会保留原始文件和解析后文本的映射关系,后面排查问题能追溯到原始文件。文档层的质量决定了检索层的天花板,这段花的时间最值。
2.3 文本切分策略、元数据设计与知识组织
切分策略我试过好几种:固定长度切分、按段落切分、按标题层级切分、递归字符切分、语义切分。固定长度切分最省事,但经常把一句话切两半,检索出来的是半截意思。按标题层级切分在制度文件里效果好,每一节独立成块,上下文完整。递归字符切分是我现在用得最多的,先按段落切,段落太长再按句子切,句子还长再按字符切。chunk大小我一般设在256到512个token之间,重叠部分留50到80个token。
切分粒度没有标准答案,得看文档类型和问题类型。手册类文档问题往往聚焦某个操作步骤,切小一点召回更准。制度类文档问题经常需要前后条款对照,切大一点上下文更完整。我一般会拿二十个真实问题做切分参数对比,看哪种chunk大小和重叠比例召回效果最好。切分参数调完再向量化,省得反复重建索引。
元数据设计是知识组织里最容易被忽略的部分。我一般给每个chunk带上来源文件名、文档类型、所属部门、创建时间、标题路径、chunk序号。这些字段在检索时能做过滤,在展示时能做引用溯源。标题路径特别有用,回答时能告诉用户答案来自“第三章第二节”。知识组织上我会把同一类文档放在同一个collection里,权限隔离和增量更新都方便。元数据字段一多,向量库的过滤性能要提前测,别等到查询变慢才想起索引优化。
2.4 Embedding模型选择与向量化入库流程
Embedding模型选择我主要看三件事:中文语义效果、向量维度、推理速度。中文场景里BGE系列我用得比较多,bge-large-zh在语义匹配上表现稳,bge-small-zh适合资源紧张的环境。m3e-base也能用,长文本场景可以试bge-m3。OpenAI的text-embedding-3-small在英文和混合语言场景表现好,本地部署不了就得走API。我一般会拿一批真实问题和文档片段做召回对比,别只看榜单分数。
向量维度直接影响存储成本和检索速度。1024维和768维在效果上差距不大,存储能差出一截。我通常先把维度定在768左右,效果不够再往上升。推理速度要看批量大小和硬件,GPU上跑Embedding模型批量处理几百个chunk很快,CPU上就得算时间。有个项目文档量很大,我用GPU批量向量化,一次跑几千条,跑完存成中间文件,再批量写向量库,比一条一条写快很多。
向量化入库流程我一般写成脚本:读chunk列表、批量调Embedding模型、组装向量和元数据、批量写入向量库、记录入库日志。入库日志里写清楚批次号、chunk数量、成功失败数、耗时。写入向量库时我会把文档ID和chunkID建唯一索引,方便后面增量更新和删除。向量库的写入批量大小要调,太小了慢,太大了容易超时。我一般从100条一批试起,看写入延迟再调整。入库完成后我会抽查几条向量做相似度检索,确认向量和文本对得上。
2.5 检索召回、重排机制与Prompt上下文构造
检索召回我一般用混合检索打底。向量检索负责语义相似,能把“报销审批流程”和“费用核销步骤”匹配上。关键词检索负责精确匹配,能把“单据编号”这种专有名词命中。两路召回结果合并去重后再进重排。我见过只用向量检索的项目,问某个具体型号的参数,召回的全是语义相近但型号不对的片段。混合检索里关键词那路权重我一般给0.3到0.4,向量那路给0.6到0.7,具体比例拿测试集调。
重排机制我用过Cross-Encoder类的重排模型,bge-reranker系列在中文场景效果不错。重排的作用是把召回结果按与问题的相关度重新排序,TopK从20条重排到5条。重排模型比Embedding模型慢,我一般只对召回的前20到30条做重排。有些场景重排收益不明显,比如问题很短、文档很聚焦,我就跳过重排直接截断。重排阈值也要设,相关度太低的结果宁可不要,别硬塞给生成模型。
Prompt上下文构造我一般按“问题+检索片段+回答要求”三段来写。检索片段里带上来源标题和chunk序号,方便模型引用。回答要求里明确说只根据给定片段回答,片段里没有就说不知道,别自己编。上下文长度要控制,塞太多片段反而稀释关键信息。我一般放3到5个片段,按重排分数从高到低排。Prompt模板我会做成可配置的,不同场景换模板不用改代码。构造完的Prompt我会先手工跑几条看效果,确认模型能正确引用片段再进链路。
2.6 生成模型接入与文档问答链路编排
生成模型接入我一般先确认两件事:模型能不能本地部署、API调用延迟能不能接受。本地部署我常用Qwen系列和ChatGLM系列,7B到14B参数在单卡上能跑,回答质量够文档问答用。API接入用过通义千问和DeepSeek,延迟低、不用管显存,数据敏感的场景还是得本地。模型接入层我会做一个统一接口,换模型只改配置不改业务代码。流式输出要支持,前端体验差别很大。
文档问答链路编排我画过一版流程图:用户问题进查询改写、走向量化和关键词抽取、混合召回、重排、上下文构造、生成模型调用、答案后处理、返回结果。查询改写这一步不是必须的,问题口语化严重时加一层改写能提升召回。答案后处理我一般做两件事:去掉模型自己加的“根据提供的信息”这类套话,把引用标记转成可点击的原文链接。链路里每个节点我都加了日志和耗时统计,哪一步慢了一眼能看出来。
链路编排我用过LangChain和LlamaIndex,也手写过纯Python编排。框架上手快,调试时链路黑盒感强。手写编排代码多,排查问题直接。小项目我倾向于手写,逻辑清楚、依赖少。大项目用框架省事,组件生态全。编排时我会给每个节点设超时和降级策略,生成模型超时就返回检索片段让用户自己看。链路跑通后我会拿测试集跑一遍端到端,记录每个节点的输入输出,后面调优有据可查。
2.7 API服务、前端界面与权限体系集成
API服务我一般用FastAPI搭,接口设计成问答、文档上传、文档删除、健康检查四个基础接口。问答接口接收问题、用户ID、会话ID,返回答案、引用片段、耗时。文档上传接口接收文件、部门标签、权限标签,触发异步解析和向量化。接口要做限流,防止有人批量刷问答把GPU打满。响应体里我会带trace_id,出问题能顺着日志查。
前端界面我做过两版:一版是聊天式问答,一版是搜索式问答。聊天式适合客服场景,搜索式适合内部知识检索。界面上我会展示答案、引用来源、相关度分数,用户能点开原文片段对照。前端还要处理流式输出的打字机效果和加载状态,体验上差别很大。权限体系集成我一般做三层:用户登录认证、文档级权限过滤、接口级访问控制。文档级权限过滤在检索层做,用户只能召回自己有权限的文档片段。
权限体系集成最容易出问题的地方是元数据过滤和向量检索的配合。有些向量库过滤性能好,有些过滤完召回数量掉得厉害。我一般会在检索时把权限标签作为过滤条件传进去,先过滤再检索。用户角色和文档权限的映射关系我放在关系数据库里,检索前查一次缓存起来。接口级访问控制用JWT做,token里带用户角色。权限变更后缓存要能及时失效,不然用户会看到不该看的内容。
2.8 本地部署联调、功能测试与上线验收
本地部署联调我一般按依赖顺序来:先起向量库,再起Embedding服务,再起重排服务,再起生成模型服务,最后起API服务。每个服务起来后先用curl测健康检查,确认端口和网络通。联调时最常见的问题是显存不够,几个模型抢GPU。我的做法是把Embedding和重排放一张卡,生成模型放另一张卡,API服务放CPU。显存分配用环境变量控制,别让框架自己抢。
功能测试我分三层:单元测试测切分、清洗、Prompt构造这些纯函数;集成测试测检索链路和生成链路;端到端测试用测试集跑完整问答。测试集我一般准备五十到一百条问题,覆盖常见问法、模糊问法、权限边界、无答案问题。每条问题标注预期召回片段和预期答案要点。测试结果我记在表格里,召回率、答案准确率、引用正确率、平均耗时四个指标。指标不达标就回去调对应环节,别急着上线。
上线验收我一般拉上业务方一起做。验收清单包括:问答准确率达标、响应时间达标、权限过滤生效、日志和监控就位、备份恢复演练通过、运维文档齐全。有个项目验收时业务方问“这个问题为什么答不出来”,我当场翻日志定位到是文档没入库,这种场景验收前要提前演练。上线后第一周我会每天看问答日志,把答得不好的问题收集起来,作为下一轮优化的输入。上线不是终点,是调优的起点。
3.1 问答效果评估指标与测试集构建方法
系统跑起来只是开了个头,真正难的是怎么判断它答得好不好。我踩过的第一个坑就是凭感觉验收——自己随手问几个问题,觉得回答挺像那么回事,就认为可以交付了。结果业务方拿去一问,全是边角场景,召回出来的片段驴唇不对马嘴。从那以后我明白,评估这件事得先有尺子,再谈优化。
我常用的评估指标分两层。检索层看召回率(Recall@K)和上下文精确率,生成层看答案准确率、引用正确率、幻觉率,外加端到端的平均响应时间。Recall@K我一般看Top5和Top10两档,Top5召回率低于80%就得回头查切分和向量化。幻觉率靠人工抽检,随机抽五十条回答,看有没有片段里没提但模型自己编的内容。引用正确率看模型引的片段是不是真能支撑答案,这个指标业务方特别在意,因为他们要溯源。
测试集构建我一般分四类问题来攒。第一类是基础事实题,答案在单个片段里能直接找到,比如“年假天数是多少”。第二类是跨片段综合题,需要两三个片段拼起来,比如“出差报销和请假流程分别找谁审批”。第三类是模糊口语题,用户不会按文档措辞提问,比如“我出差回来那个钱怎么报”。第四类是无答案题,故意问文档里没有的内容,看模型会不会硬编。每类至少二十条,覆盖主要文档类型和用户角色。
标注测试集是个细活。每条问题我会标上预期召回的chunk ID、预期答案要点、问题类型、所属文档域。chunk ID从向量库里查出来,人工确认相关度。答案要点不用写完整答案,列三到五个关键词就行,评的时候看有没有覆盖。这套标注我放在Excel里,跑评估脚本时读进来自动算指标,省得每次手工统计。测试集要定期更新,业务问法在变,文档也在增,三个月不更新测试集,评估结果就失真了。
自动化评估脚本我一般写两个:一个算检索指标,输入测试集和检索接口,输出每个问题的召回列表和Recall@K;另一个算生成指标,调问答接口拿回答,用规则匹配加人工抽检结合的方式打分。规则匹配部分用关键词命中率和引用片段重合度来算,能自动化跑出七成左右的准确判断,剩下三成靠人工复核。这样一轮评估跑下来,半天能出结果,比纯人工快很多。
3.2 检索优化实践:混合检索、查询改写与重排调优
检索优化是投入产出比最高的环节。我见过太多项目把精力花在换生成模型上,换了一圈发现回答还是不对,问题其实出在召回。生成模型再强,召回片段不相关,它也只能硬着头皮编。我的经验是先把检索调到位,再考虑生成侧的事。
混合检索的权重我一般拿测试集跑网格搜索。向量权重从0.5到0.8,关键词权重从0.2到0.5,步长0.1,跑一遍看哪个组合的Recall@5最高。不同文档域最优权重不一样,制度类文档关键词权重要高一些,因为条款编号、部门名称这类精确匹配多。技术手册类文档向量权重可以高一些,同义表述多。有个项目里用户老问“VPN连不上怎么办”,向量检索召回的全是网络配置文档,关键词检索把“VPN”这个专名命中了,两路合并后效果明显提升。
查询改写我一开始觉得是锦上添花,后来发现口语化场景里它是刚需。用户问“上个月那个报销到现在没到账咋回事”,直接拿这句话去检索,向量模型也犯难。我加了一层改写,用个小模型把问题转成“报销审批流程 到账时间 延迟原因”这种检索友好形式,召回率肉眼可见地涨。改写模型我用Qwen-7B做过,也试过规则模板加同义词替换,小场景里规则方案够用,省一张卡。改写有个风险是改偏了,把用户原意弄丢。我的做法是改写结果和原始问题各检索一路,结果合并去重,偏了也能兜住。
重排调优我主要调三个参数:召回数量、重排TopK、相关度阈值。召回数量我一般从30条起步,重排后留5条进Prompt。重排模型用bge-reranker-base够用,large版效果略好但慢一倍。相关度阈值我拿测试集看分数分布来定,低于阈值的片段宁可丢掉,别让生成模型在垃圾片段里找答案。有个场景阈值设太高,召回片段不够,模型回答变得特别保守,老说“根据现有信息无法回答”,后来把阈值降了0.05才平衡过来。
重排模型和Embedding模型的版本要对齐。有次我升级了Embedding模型没换重排模型,两者语义空间不一致,重排分数乱跳,排查了大半天。现在我的做法是把Embedding和重排模型版本号写进配置文件,升级时一起评估、一起换。检索链路的每次参数变更我都记在实验日志里,写清楚改了啥、指标怎么变、为什么这么定,后面回头看能省很多重复试错。
3.3 向量数据库运维、增量更新与版本管理
向量库这东西,建的时候容易,养的时候费心。文档不是一成不变的,新制度下发、旧文件废止、部门调整,这些都得反映到向量库里。我见过用全量重建来应对变更的方案,文档量小的时候还行,上了十万级chunk,每次重建要跑几个小时,业务等不起。
增量更新我一般做成事件驱动。文档上传或修改时触发一个任务,解析、切分、向量化只针对变更的文档跑,写完新向量再删旧向量。删除操作要小心,我一般先软删标记,确认新向量写入成功后再物理删除,避免中间状态导致检索不到。更新过程中检索服务不能停,我的做法是双写过渡:新向量写进一个临时collection,写完后切别名指向新collection,旧collection保留一天再清理。这套流程用脚本串起来,人工只需要点一下确认。
版本管理我管两层:文档版本和索引版本。文档版本记录每个文件的修订历史,向量库里存文档ID加版本号,检索时默认只查最新版本。索引版本记录切分参数、Embedding模型版本、向量维度这些元信息,每次重建索引生成一个版本号。出问题时能快速回滚到上一个索引版本,不用从头再跑。有个项目上线后发现新切分策略效果反而差了,靠索引版本回滚十分钟就恢复了服务,要是没这层机制,重跑一遍得半天。
向量库的日常运维还包括监控collection大小、索引构建延迟、查询P99延迟。我一般设几个告警线:collection增长超过预期30%触发提醒,可能是重复入库;查询延迟连续五分钟超过500ms触发告警,可能是索引碎片或资源争抢;写入失败率超过1%报警。备份策略我按天做快照,保留最近七天,重大变更前手动打一个标签快照。恢复演练每季度做一次,别等真出事才发现备份文件是坏的。
3.4 安全合规、权限控制与数据治理策略
企业知识库跟公开问答机器人最大的区别就在这——文档里有薪酬制度、客户合同、内部流程,答错人就是事故。权限这事我从项目第一天就得设计进去,后面补会补出一堆漏洞。
权限模型我用的是三层:用户身份层、文档标签层、检索过滤层。用户登录后拿到角色和部门信息,文档入库时打上部门标签和密级标签,检索时把用户有权访问的标签作为过滤条件传进向量库。有些向量库过滤性能好,先过滤再检索;有些过滤完召回数量掉得厉害,我的做法是扩大召回数量再过滤。过滤逻辑我放在检索服务里统一做,不在每个接口里各写一遍,省得漏。
数据治理上我关注三件事:敏感信息识别、文档生命周期管理、审计日志。敏感信息识别我一般用规则加模型两层,规则匹配身份证号、手机号、银行卡号这类格式,模型识别合同金额、客户名称这类语义敏感内容。识别出来的文档打上敏感标签,权限收得更紧。文档生命周期管理包括过期文档下线、废止文档标记、重复文档去重。审计日志记录谁在什么时候问了什么问题、召回了哪些文档、看了哪些原文,这些日志保留至少六个月,合规检查时要能拉出来。
权限变更的及时性容易出问题。用户调岗后权限应该立刻变,但缓存里还留着旧权限,检索时就会漏过滤。我的做法是权限变更时发一个失效消息,检索服务收到后清掉对应用户的缓存。缓存过期时间也设短一点,十五分钟兜底。还有个细节是引用展示,用户能看到答案引用了哪个文档片段,但片段里的敏感字段要做脱敏,比如金额打码、人名替换。这层脱敏在返回前端之前做,别指望前端处理。
合规方面不同行业要求不一样,金融和医疗最严。我一般会跟法务对齐三件事:数据能不能出境(决定用本地模型还是API)、日志保留多久、用户删除权怎么落实。用户要求删除自己的问答记录时,审计日志里的关联记录要做匿名化处理,不能简单删掉,不然审计链就断了。这些规则我写成文档放在项目wiki里,新同事接手先读一遍。
3.5 性能成本优化、监控告警与故障排查
系统上线后老板最关心的两个数:响应多快、一个月花多少钱。这两件事经常打架,想快就得多堆GPU,想省就得排队等。我的思路是先找瓶颈,再针对性地优化,别一上来就加机器。
性能优化我按链路一段段看。Embedding推理是批处理场景,批量大小调到GPU利用率80%左右最划算,太小了浪费算力,太大了显存溢出。生成模型这块流式输出对体感提升最大,首token延迟控制在1秒以内,用户就觉得快。检索环节的向量查询一般不是瓶颈,除非collection特别大或者过滤条件太复杂。我遇到过一次查询慢,查下来是元数据过滤字段没建索引,加上索引后P99从800ms降到120ms。
成本优化我常做三件事:模型量化、缓存、异步。生成模型用4bit量化后显存减半,效果损失在文档问答场景里几乎看不出来。缓存分两层,问题级缓存把高频问题的完整回答存起来,片段级缓存把Embedding结果缓存住避免重复计算。异步主要用在文档入库,上传后立即返回,后台慢慢跑解析和向量化,用户不用干等。有个项目文档更新频繁,我把增量更新做成队列消费,白天上传晚上批量处理,GPU利用率从30%提到70%。
监控告警我搭一套基础版:Prometheus采集指标,Grafana做面板,Alertmanager发告警。关键指标包括各服务健康状态、问答QPS、P95延迟、GPU显存和利用率、向量库查询延迟、入库任务积压数、错误率。告警阈值别设太敏感,不然天天报警没人看。我的经验是延迟告警看连续五分钟均值,错误率告警看五分钟窗口超过5%,入库积压超过一百条才报。告警发到企业微信或钉钉群,带上trace_id和快速排查链接。
故障排查我整理过一份清单,按现象对原因。回答变慢先看GPU利用率和显存,再看检索延迟和生成首token时间。回答质量下降先查最近有没有改切分参数或换模型版本,再看召回片段相关度分布。检索不到内容先确认文档入库状态和权限标签,再看向量库collection是否正常。服务起不来先看显存够不够、端口占没占、依赖服务通不通。这份清单放在运维文档第一页,值班同事照着查能解决八成常见问题。复杂问题靠日志和trace_id追链路,每个节点打了耗时和输入输出摘要,追起来不费劲。
3.6 实战案例复盘与AI知识库规模化落地路线
去年我参与了一个集团级知识库项目,从立项到全集团推广用了一年出头。复盘下来有几个节点值得说。第一阶段只接了一个部门的制度文档,两千多份文件,跑通问答闭环用了三周。这个阶段目标就是验证技术路线,指标定得不高,Recall@5到75%就算过。第二阶段扩到五个部门,文档量翻了五倍,问题集中爆发在权限和增量更新上,之前单部门没暴露的毛病全出来了。第三阶段全集团推广,接入了十几个业务系统,问答入口嵌到OA和客服工单里,日活从几十涨到两千多。
规模化落地最难的还不是技术,是组织协同。每个部门都觉得自己文档特殊,切分参数要单独调,权限模型要单独设计。我的应对方式是做一套标准接入流程:文档模板统一、元数据字段统一、权限标签体系统一,特殊需求走配置不走定制。配置项开放切分大小、召回数量、Prompt模板这几个,别的锁死。这样运维成本可控,新部门接入从两周缩到三天。
技术架构上规模化的关键是解耦。我把文档处理、向量化、检索、生成做成四个独立服务,各自能水平扩展。文档处理是CPU密集,向量化和生成是GPU密集,检索是内存密集,混在一起扩容易浪费资源。队列解耦后入库高峰不影响在线问答,GPU服务按QPS扩副本。向量库用集群模式,按部门分collection,单collection控制在百万级chunk以内,再大就拆。
路线图我一般分三步走。第一步单域验证,选一个文档质量好、业务意愿强的部门,把闭环跑通、指标跑出来、踩坑清单攒出来。第二步多域复制,把标准流程固化,接三到五个部门,重点解决权限和增量更新。第三步平台化运营,建自助接入后台,业务方自己上传文档、配权限、看问答报表,技术团队退到二线做支持和优化。每一步设明确的验收指标和退出条件,不达标不往下走,避免摊子铺大了收不回来。
回头看这个项目,做得对的地方是早期就把评估体系和权限模型搭起来了,后面扩量没返工。做得不够的是监控告警上得晚,第二阶段出过两次夜间故障没人发现,后来补了值班告警才稳住。还有个教训是测试集更新不及时,第三阶段业务问法变了很多,旧测试集指标虚高,实际体验有落差。现在我的做法是每月从线上日志里抽一百条真实问题补充进测试集,保持评估跟业务同步。知识库这东西没有一劳永逸,持续运营比初次搭建更重要。