首页 / AI教程 / 正文
AI教程

AI模型显存需求对比:本地部署硬件配置参考,避开OOM选对显卡

chuanbook chuanbook
发布于 2026 年 11 月 21 日
阅读 约42分钟
浏览 13
评论 0

每次有人问我“跑个大模型要多大显存”,我都得先问回去一句:你打算跑多大的模型,用什么精度跑,上下文开多长。这三个问题不搞清楚,报出来的数字全是拍脑袋。我自己刚开始折腾本地部署那会儿,看网上说7B模型需要8GB显存,兴冲冲拿张8GB卡去跑,结果模型是加载起来了,一对话就爆显存。后来才明白,模型权重只是显存账单里的一项,KV Cache、框架开销、激活值这些隐形项目加起来,能让实际占用翻上一倍不止。

这一章我想把本地部署的显存账本摊开来算。不是给你一个万能公式,而是把影响显存需求的几个关键变量讲透,让你看到任何一张显卡的时候,心里能有个大概的判断。显存容量当然是第一道门槛,但容量之外还有带宽、算力、上下文长度这些指标在暗中拉扯推理体验。消费级卡和专业卡之间的分界线也不只是价格,适用场景的差异比参数表上写的更微妙。

1.1 主题边界与关键指标:显存容量、显存带宽、算力、上下文长度

我见过太多人买卡只盯着显存容量看,24GB就是比12GB强,这个逻辑放在模型加载上没错,放到推理速度上就不一定成立了。显存容量决定的是“能不能装下”,显存带宽决定的是“装下之后跑多快”。这两件事经常被混为一谈。拿RTX 4060 Ti 16GB和RTX 4070 Ti SUPER 16GB比,显存一样大,后者带宽高出将近一倍,token生成速度的差距肉眼可见。模型权重每一层都要反复读写显存,带宽不够的时候GPU核心就在那儿干等数据,算力再强也发挥不出来。

算力这个指标更微妙。本地推理主要是矩阵乘法,INT8和INT4量化之后对算力的要求跟FP16完全不是一个量级。一张卡标称的FP16算力和INT8算力可能差好几倍,选卡的时候得看你打算用什么精度跑。上下文长度则是另一个维度,它不改变模型权重的显存占用,但KV Cache会随着上下文线性增长。128K上下文和4K上下文,同一张卡同一模型,显存压力完全两码事。我自己跑长文档问答的时候,8K上下文下24GB卡还能留点余量,开到32K就开始紧张了。

还有一个容易被忽略的指标是显存位宽。它跟带宽直接挂钩,但比带宽更底层。位宽决定了每次显存读写的通道宽度,位宽窄的卡在高并发场景下更容易出现瓶颈。消费级卡里128bit和256bit的差距,单次推理可能感受不到,批量处理的时候延迟波动会明显得多。我把这些指标放在一起说,是因为它们之间互相牵制,单独拎任何一个出来做决策都容易踩坑。

1.2 消费级显卡与专业卡适用场景对比

我自己主力用的是消费级卡,身边朋友有上专业卡的,两边的体验差异挺有意思。消费级卡的优势很直白:便宜、好买、驱动更新快、社区支持多。RTX 4090那张24GB卡在本地部署圈子里几乎成了标配,单卡跑7B和13B模型游刃有余,70B量化后也能勉强塞进去。专业卡比如A6000、L40S这些,显存更大、散热更稳、支持ECC显存,长时间高负载跑推理不容易出幺蛾子。价格嘛,翻个两三倍是常态。

适用场景的分界线其实不在性能参数上,在“连续运行时长”和“多任务并发”这两个维度。我拿消费级卡做个人助手和代码补全,每天用几个小时,卡的温度和稳定性都没问题。朋友那边做的是小团队内部的知识库问答服务,七八个人同时用,消费级卡跑一段时间就开始降频,token输出速度往下掉。换了专业卡之后这个问题消失了,ECC显存也让长时间运行的数据完整性更有保障。

还有一点是显存扩展性。消费级卡大多不支持NVLink了,多卡并行只能走PCIe通道,通信带宽有限。专业卡在多卡互联上有更成熟的方案,70B模型拆到两张卡上跑的时候,卡间通信效率的差距会直接影响推理吞吐。我不是说消费级卡不能多卡,而是说多卡之后消费级方案的天花板更明显。如果你只是自己用,消费级卡完全够;如果要对外提供服务,专业卡的稳定性溢价是值得付的。

1.3 7B、13B、70B模型的本地部署定位与硬件预期

7B模型是本地部署的入门甜点区。FP16精度下权重占14GB左右,INT8量化砍半到7GB,INT4再砍半到3.5GB上下。一张12GB的消费级卡跑INT4量化的7B模型很舒服,留出来的显存够开8K上下文和适度的批处理。我第一台本地推理机器就是12GB卡配7B模型,日常问答、代码补全、简单文档总结都能应付。14GB的FP16版本需要16GB以上的卡,说实话7B模型上FP16的收益不大,量化带来的质量损失在这个尺寸上几乎感知不到,省下来的显存留给上下文更划算。

13B模型是质量和硬件成本的平衡点。FP16需要26GB左右,单张24GB卡装不下,得靠INT8或者INT4。INT8量化后13GB上下,24GB卡跑起来很从容,16GB卡也能塞进去但余量不多。INT4量化后7GB左右,12GB卡就能跑,8GB卡比较勉强。我自己用13B模型跑代码生成的时候明显感觉比7B聪明一截,指令遵循也更稳。代价是同样上下文长度下显存占用更高,24GB卡上13B模型开16K上下文基本是极限了,再往上就得压缩批处理或者降量化精度。

70B模型在消费级硬件上属于“能跑但别指望流畅”的范畴。FP16要140GB显存,这已经超出单张消费级卡的能力范围了。INT4量化后35GB左右,一张48GB卡能装下,或者两张24GB卡拆开跑。我试过用两张24GB卡跑70B的INT4量化版本,模型加载没问题,推理速度大概在每秒几个token,做离线批处理可以,实时对话就有点难受了。CPU卸载方案能把显存需求降下来,把部分层放到系统内存里,代价是速度断崖式下跌。70B模型的本地部署定位我觉得是“研究学习”和“离线任务”,拿它做日常助手得有足够的耐心。

1.4 常见误区:显存够用不等于推理流畅

这个误区我踩过不止一次。第一次是拿8GB卡跑7B的INT4模型,权重才3.5GB,显存占用显示还有富余,结果对话稍微长一点就OOM。查了半天才发现KV Cache在吃显存,上下文开到4K的时候KV Cache占了快2GB,加上框架本身的CUDA上下文开销和激活值缓冲,8GB卡的实际可用空间远比标称值小。标称8GB,系统占掉几百MB,驱动再留一点,真正能分给模型的也就7GB出头。

第二个误区是只看容量不看带宽。我有张卡显存够大,跑13B模型加载没问题,但token生成速度就是上不去,后来对比参数才发现带宽只有另一张卡的一半。模型推理是显存密集型操作,每一层的前向传播都要把权重从显存读到计算单元,带宽不够的时候计算单元利用率很低。同样跑7B的INT4模型,高带宽卡能到每秒40多个token,低带宽卡只有20出头,差距非常直接。

第三个误区是忽略框架开销。不同推理框架的显存管理水平差别很大,同一个模型同一张卡,换个框架显存占用能差出1到2GB。vLLM的PagedAttention对KV Cache的管理很精细,llama.cpp的量化方案更省显存,Transformers原生加载的开销最大。我现在的习惯是先用目标框架实际跑一遍,看nvidia-smi里的真实占用,再决定这张卡能不能满足需求。标称参数和实际表现之间的沟,得自己填。

我头一回认真算显存的时候,拿笔在纸上写了个公式,参数量乘以每参数字节数,7B的FP16就是14GB,心说这也太简单了。结果把模型加载起来,nvidia-smi一看,显存占用比纸面数字多了将近40%。那多出来的部分就是KV Cache、框架开销和激活值在捣鬼。这一章我想把这个纸面公式到实际占用之间的沟填上,让每个准备配机器的人心里有本细账。

2.1 基础计算公式:参数量乘以每参数字节数加KV Cache加框架与激活开销

显存占用的基础公式不复杂:模型权重占用等于参数量乘以每参数的字节数。7B模型用FP16跑,每个参数2字节,权重占14GB。INT8量化每参数1字节,7GB。INT4量化再砍半,3.5GB左右。这个乘法谁都会算,问题是算完这个数之后,还得往上叠三个大家伙。

KV Cache这项,很多人第一次听会觉得陌生,它跟上下文长度直接挂钩,对话越长占用越大。框架本身也有固定开销,CUDA上下文、推理引擎的缓冲区、内存池预分配,这些加起来1到3GB不等,具体看框架的实现方式。激活值缓冲是另一个容易漏掉的项,推理过程中每一层的中间计算结果需要临时存放,批处理越大、上下文越长,这块的开销越显眼。

我自己的经验修正系数是这样:FP16精度下,权重加上KV Cache加框架开销,实际占用大概是权重的1.3到1.5倍。INT4量化之后这个倍数会更高,因为权重缩水了,但KV Cache和框架开销不会等比缩减,实际占用可能是权重的2倍甚至更多。7B的INT4权重3.5GB,实际跑起来吃6到7GB显存是常事。拿计算器按出来的数乘以1.5到2,心里才踏实。

2.2 精度与量化格式对比:FP16、BF16、INT8、INT4、GGUF、AWQ、GPTQ

FP16是半精度浮点,每个参数2字节,兼容性最好,几乎所有框架都支持。BF16跟FP16占用一样,动态范围更大,训练场景用得多,推理场景FP16和BF16的显存占用没区别。INT8把每个参数压到1字节,显存直接砍半,质量损失在大多数任务上很难察觉,我自己用INT8跑13B做代码补全,跟FP16对比过输出,肉眼找不出差别。

INT4再砍半,每个参数0.5字节,7B模型权重降到3.5GB,代价是质量开始有可感知的波动。复杂推理任务和长文生成的时候,INT4偶尔会冒出逻辑断裂或者重复输出的问题。GGUF、AWQ、GPTQ是INT4量化下面的不同实现方案,不是独立的精度等级。GGUF是llama.cpp生态的格式,把量化、加载、推理打包在一起,文件本身就是模型,用起来最省事。AWQ和GPTQ是另外两种量化算法,对权重矩阵的处理方式不同,AWQ在低比特下保留的精度通常更好一些,GPTQ的社区资源更丰富。

我实际用下来,GGUF的Q4_K_M这个档位是甜点,质量损失小,显存占用也友好。AWQ的推理速度在某些框架里比GPTQ快一截,但兼容的框架少一点。选哪种格式,得看你用的推理框架支持什么,Ollama和llama.cpp吃GGUF,vLLM吃AWQ和GPTQ,Transformers原生支持FP16和INT8。格式选错了,模型再好也跑不起来。

2.3 量化对显存占用、推理速度、输出质量与框架兼容性的影响

量化对显存的影响是最直观的,FP16到INT8显存减半,到INT4再减半,这个账好算。速度的影响没那么线性,INT8和INT4在支持对应指令集的显卡上确实更快,因为数据搬运量小了,显存带宽的压力下来了。我自己测7B模型,FP16每秒三十多个token,INT4能到五十多,提升明显。有些显卡对INT4的支持不完整,速度反而可能比INT8慢,得看具体架构。

输出质量这块,我的感受是分水岭在INT4。INT8基本无损,INT4在简单问答和代码补全上表现稳定,切换到需要多步推理或者长链逻辑的任务时,质量波动就出来了。我拿同一个数学题分别用FP16和INT4的13B模型跑,FP16对了,INT4有时候在中间步骤算错。不是说INT4不能用,而是你得知道它在什么任务上会掉链子,别拿它跑容错率低的活。

框架兼容性是个特别容易被低估的因素。GGUF格式在llama.cpp和Ollama里如鱼得水,拿到vLLM里就没法直接用。AWQ在vLLM里性能很好,换到别的框架可能根本不认。我现在的做法是先定框架再选量化格式,不是反过来。手头机器跑什么框架顺手,就去下对应格式的模型,省得折腾转换。

2.4 KV Cache与上下文长度:长文本场景下的显存增量估算

KV Cache这东西,短上下文的时候不起眼,长上下文的时候能吃掉半张卡。它的计算公式跟模型层数、注意力头数、头维度、上下文长度都有关,具体到每个模型不一样。粗略估算的话,7B模型在8K上下文下KV Cache大概占1到2GB,32K上下文能到4到8GB。70B模型更夸张,32K上下文下KV Cache十几GB起步。

我自己踩过这个坑。24GB卡跑13B的INT8模型,权重13GB,心说还能剩11GB,开个16K上下文绰绰有余。实际跑起来到12K左右就开始报OOM,一查发现KV Cache吃了快6GB,加上框架开销和激活值,余量根本不够。后来把上下文压到8K才稳住。长文档问答这种场景,上下文长度和显存占用是平方级的关系吗?不是平方,是线性增长,但基数大,线性增长也很吓人。

估算KV Cache有个简化办法:看模型配置文件里的层数和隐藏维度,乘以上下文长度再乘以2(Key和Value各一份),再乘以字节数。7B模型大约每1K上下文吃0.15到0.2GB,13B翻倍,70B再翻好几倍。这个数不精确,但够你判断一张卡能不能撑住目标上下文长度。我现在的习惯是先把上下文长度定下来,预留出KV Cache的显存,剩下的再留给权重和框架。

2.5 批处理、并发数与推理框架对显存占用的修正

单用户单请求的显存估算,跟多用户并发完全是两个世界。批处理的时候,多个请求的KV Cache同时存在显存里,激活值缓冲也要按批大小翻倍。我拿vLLM跑7B模型做测试,单请求显存占用6GB出头,并发开到8路,显存直接飙到14GB。并发数对显存的影响不是线性的,但增长趋势很明确,每加一路并发,KV Cache和激活值就多一份。

推理框架的选择能显著改变显存账本。vLLM的PagedAttention把KV Cache切成块来管理,碎片少了,同样显存能塞下更多并发。llama.cpp的量化方案在低显存环境下更省,但并发能力弱一些。Transformers原生加载最费显存,因为它的内存管理没那么精细。我同样跑7B的INT4模型,llama.cpp占5.5GB,vLLM占7GB,但vLLM的吞吐高出一截。框架没有绝对的好坏,看你侧重省显存还是高吞吐。

批处理大小这个参数在框架里通常可以调,调大了吞吐上去,显存也上去。我自己的经验是消费级卡上批处理别超过4,除非你显存特别宽裕。70B模型多卡跑的时候,批处理还要考虑卡间通信的开销,有时候加批处理带来的吞吐提升抵不过通信延迟的增加。这些细节没法在公式里体现,得实际跑了才知道。

2.6 快速估算表与计算示例:7B、13B、70B在不同量化下的显存需求

我把常见的组合列了个表,数字是实际跑出来的经验值,不是纸面计算值。表里的显存需求包含了权重、8K上下文下的KV Cache、框架开销和适度的激活值缓冲。实际配置的时候,显存容量比表里的数字再多留2GB余量比较稳妥。

模型规模量化精度权重占用实际显存需求(8K上下文)推荐显卡档位
7BFP1614GB18-20GB24GB
7BINT87GB10-12GB16GB
7BINT43.5GB6-8GB8-12GB
13BFP1626GB32GB+双卡或48GB
13BINT813GB17-19GB24GB
13BINT47GB10-12GB16GB
70BINT870GB80GB+多卡
70BINT435GB42-46GB48GB或双24GB

拿7B的INT4举例,权重3.5GB,8K上下文的KV Cache大概1.5GB,框架开销1GB出头,激活值缓冲不到1GB,加起来6到8GB。这是单请求的账,并发上去了还得往上加。13B的INT4在16GB卡上跑8K上下文是舒服的,开16K上下文就会紧张。70B的INT4在48GB卡上跑8K上下文能稳住,上下文拉到32K就得把批处理压到1,或者接受频繁的显存交换。

这些数字是参考值,不是保证值。不同框架、不同驱动版本、甚至不同的系统后台程序,都会让实际占用上下浮动。我的建议是拿着这个表去筛显卡,筛出来之后实际跑一遍目标模型和目标框架,用nvidia-smi看真实占用,再做最终决定。纸面估算和实际表现之间的误差,自己实测一次就全清楚了。

买卡之前我把市面上的消费级显卡捋了一遍,从8GB的3060Ti到48GB的RTX 6000 Ada,跨度是真大。问题在于,每张卡到底能跑多大的模型,这事光看显存容量数字没意义,得把模型规模、量化精度、上下文长度和框架开销全叠在一起算。这章我按7B、13B、70B三档拆开聊,把每档模型对应什么显卡说清楚。

3.1 7B模型:FP16、INT8、INT4显存需求与可运行显卡档位

7B模型是消费级显卡的甜点区,这话我放这儿。FP16精度下权重占14GB,加上KV Cache和框架开销,实际需要18到20GB,24GB卡跑起来很从容,16GB卡就有点喘。我自己拿4060Ti 16GB跑7B的FP16,8K上下文下显存占到17GB出头,nvidia-smi显示余量只剩几百MB,后台开个浏览器都可能触发OOM。24GB的3090或者4090跑这个配置就舒服多了,还能留出余量开点别的。

INT8量化把7B的权重压到7GB,实际占用10到12GB,16GB卡是它的主场。我测过4060Ti 16GB跑7B的INT8,8K上下文下显存占用11GB左右,余量健康,速度比FP16快了两三成。8GB卡跑INT8会比较紧,4K上下文勉强能撑,再长就得靠CPU卸载,速度掉得厉害。INT4的7B权重只有3.5GB,实际占用6到8GB,8GB卡能跑,12GB卡跑得舒展。我手头一张12GB的3060跑7B的Q4_K_M,8K上下文稳稳当当,出token速度也够日常对话用。

有个细节值得说,7B模型在INT4下显存占用对上下文长度的敏感度比大模型低一些,因为它的KV Cache基数小。16K上下文下7B的INT4大概多占1.5到2GB,24GB卡跑7B的INT4开32K上下文都没问题。我自己用24GB卡跑7B的INT4加32K上下文,显存峰值14GB左右,还有余量开并发。7B这个档位,显存容量到了12GB以上,基本不用太纠结。

3.2 13B模型:量化后显存需求与消费级显卡匹配关系

13B模型的显存需求比7B翻了将近一倍,FP16权重26GB,消费级单卡里只有48GB的RTX 6000 Ada能直接吃下,4090的24GB都不够。实际跑13B的FP16,权重加KV Cache加框架开销,32GB显存起步,24GB卡开8K上下文会OOM。我试过用4090跑13B的FP16,上下文压到4K才勉强稳住,余量小得让人不敢开任何后台程序。这个配置对绝大多数人没意义,电费和硬件成本都不划算。

INT8的13B权重13GB,实际占用17到19GB,24GB卡是它的合理归宿。我拿3090跑13B的INT8,8K上下文下显存占用18GB左右,出token速度三四十每秒,做代码补全和文档问答都够用。16GB卡跑13B的INT8会非常紧张,8K上下文基本贴边,稍不留神就OOM。我自己在4060Ti 16GB上试过,4K上下文能跑,但后台必须清干净,浏览器多开两个标签页就危险了。

INT4的13B权重7GB,实际占用10到12GB,16GB卡跑起来刚好舒服。我拿4060Ti 16GB跑13B的Q4_K_M,8K上下文显存占用11GB出头,16K上下文到13GB,都还留有余量。12GB卡跑13B的INT4在8K上下文下能撑住,16K就得掂量了。8GB卡跑13B的INT4基本上只能靠CPU卸载,速度会掉到每秒几个token,体验不好。13B这个档位,我的建议是16GB卡配INT4,24GB卡配INT8,两条路线都合理。

3.3 70B模型:多卡、大显存与CPU卸载方案的消费级可行性边界

70B模型在消费级硬件上属于硬骨头。INT4量化后权重35GB,实际占用42到46GB,单卡里48GB的RTX 6000 Ada能跑,4090的24GB单卡没戏。我见过有人用双4090跑70B的INT4,通过张量并行或者流水线并行把模型切开,两张卡各扛一半,8K上下文下每张卡显存占用22GB左右,勉强能跑。这种方案的问题不在显存容量,在卡间通信开销,推理速度比单卡跑13B慢一截,出token速度大概每秒十来个,做个人助手能忍,做服务就太慢了。

CPU卸载是另一条路。llama.cpp支持把部分层放到CPU上跑,显存只装一部分权重和KV Cache。我拿24GB卡加64GB内存跑70B的Q4_K_M,显存装30层左右,剩下的层在CPU上跑,速度掉到每秒两三个token,对话体验很差,但能跑起来。这种方案适合偶尔需要70B模型能力的场景,不适合日常高频使用。内存带宽成了瓶颈,DDR5的带宽跟显存带宽差了一个数量级,CPU上跑的那部分层拖慢了整个推理链路。

70B的INT8权重70GB,消费级硬件基本不用想,双48GB卡或者四张24GB卡才够,卡间通信和电源成本都不低。我的判断是,消费级硬件跑70B模型,INT4量化加双24GB卡是上限,再往上走就进入专业卡的领域了。真要跑70B,租云算力比买硬件划算得多,除非你有持续的高频需求。

3.4 同模型不同量化下的显存、速度与质量权衡对比

拿13B模型举例,FP16、INT8、INT4三档我在同一张24GB卡上跑过对比。FP16显存占用32GB,24GB卡根本跑不起来,得靠CPU卸载,速度掉到每秒五个token以下。INT8显存18GB,速度每秒三十多个token,输出质量跟FP16对比,我肉眼找不出差别,代码补全和文档问答都稳。INT4显存11GB,速度每秒四十多个token,简单任务没问题,复杂推理偶尔出岔子。

速度这块有个反直觉的地方,INT4不一定比INT8快。在支持INT4指令集的显卡上,比如30系和40系,INT4确实快一些,因为数据搬运量小。在老架构的显卡上,INT4可能因为没有原生指令支持,速度反而不如INT8。我拿1080Ti试过,INT4的速度跟INT8差不多,有时候还慢一点。买卡之前得确认显卡架构对量化格式的支持程度,不是所有卡都吃INT4的红利。

质量损失的分水岭我前面提过,在INT4。INT8跟FP16的差距在大多数任务上小到可以忽略,INT4在需要多步推理、长链逻辑、精确数学计算的任务上会露怯。我自己的用法是日常对话和代码补全用INT4,复杂推理和长文档分析切到INT8。同一张卡上装两个量化版本的模型,按任务切换,显存不够就串行加载,比硬扛一个配置灵活。

3.5 显存带宽、显存位宽与推理速度的关联分析

显存容量决定能不能跑,显存带宽决定跑多快。这话我体会特别深。RTX 4090的显存带宽是1008GB/s,3090是936GB/s,4060Ti只有288GB/s。同样跑7B的INT4模型,4090出token速度每秒七八十,4060Ti只有四十出头,差距不在算力,在带宽。推理过程是个显存带宽密集型的活,每生成一个token都要把模型权重从显存里读一遍,带宽不够,算力再强也喂不饱。

显存位宽跟带宽是绑在一起的,位宽乘以频率等于带宽。192bit位宽的4060Ti带宽288GB/s,384bit位宽的4090带宽1008GB/s,差了将近四倍。这个差距在小模型上不明显,7B的INT4在两张卡上都能跑出可用的速度。模型越大差距越明显,13B的INT8在4060Ti上每秒十几token,在4090上每秒四十多token,体感完全不同。

选卡的时候我的排序是显存容量优先,带宽次之。容量不够直接跑不起来,带宽不够只是慢,慢可以忍,跑不了没法忍。48GB的RTX 6000 Ada带宽960GB/s,比4090略低,但容量翻倍,能跑70B的INT4,4090就跑不了。这个取舍看你的模型规模需求,跑7B和13B的话4090够用,要碰70B就得往大容量卡走。

3.6 典型消费级显卡配置对照:8GB、12GB、16GB、24GB、48GB

8GB卡的代表是3060Ti和4060,这个档位跑7B的INT4在8K上下文下能稳住,显存占用6到7GB,留一点余量。13B的INT4在8GB卡上很勉强,4K上下文贴边跑,再长就得CPU卸载。我拿3060Ti跑过7B的Q4_K_M,日常对话和简单问答没问题,速度每秒三十token左右,做个人助手够用。这张卡适合预算有限、只跑小模型的场景。

12GB卡的代表是3060 12GB和4070,7B的INT4跑得很舒展,13B的INT4在8K上下文下能稳住,显存占用11GB左右。我拿3060 12GB跑13B的Q4_K_M,8K上下文下余量一个GB出头,16K上下文就得关后台程序。这张卡是13B INT4的入门线,再低的容量就跑得不舒服了。7B的INT8在这张卡上也能跑,10GB左右的占用,速度比INT4慢一点但质量更稳。

16GB卡的代表是4060Ti 16GB和4070Ti Super,7B的FP16能跑,13B的INT8能跑,13B的INT4跑得很富裕。我主力用4060Ti 16GB跑13B的Q4_K_M,8K上下文显存占用11GB,16K上下文13GB,都留有余量,速度每秒三十多token。这张卡是消费级里的甜点,容量够、价格适中、功耗友好,跑7B和13B的主流量化都舒服。

24GB卡的代表是3090和4090,7B的FP16、13B的INT8、13B的INT4加长上下文都能跑。我拿3090跑13B的INT8,8K上下文18GB占用,速度每秒三十多token,质量跟FP16没差别。4090的带宽更高,同样配置速度能到每秒四十多token。这张卡还能碰70B的INT4,靠CPU卸载或者双卡,单卡跑不动但方案存在。

48GB卡的代表是RTX 6000 Ada和双24GB卡组合,70B的INT4单卡能跑,8K上下文42GB占用,速度每秒十来个token。双4090的24GB加24GB方案也能跑70B的INT4,靠张量并行切开,每张卡22GB左右,速度跟单卡48GB差不多,但多了卡间通信的开销。这个档位是消费级跑70B的边界,再往上就是专业卡的领域了。

显存档位代表显卡7B可跑量化13B可跑量化70B可行性
8GB3060Ti/4060INT4INT4(4K上下文)不可行
12GB3060 12GB/4070INT4/INT8INT4不可行
16GB4060Ti 16GBFP16/INT8/INT4INT4/INT8(紧)不可行
24GB3090/4090全精度INT8/INT4CPU卸载或双卡
48GBRTX 6000 Ada全精度全精度INT4单卡可跑

这张表里的“可跑”指的是8K上下文下能稳住不OOM,实际体验还得看带宽和框架。我建议拿着表筛出两三个候选,实际跑一遍目标模型,用nvidia-smi看真实占用,再决定掏钱。纸面参数和实际表现之间总有出入,自己测一次最靠谱。

前面三章聊的都是显卡和显存本身的事,到了这一章得把视角拉高,落到整台机器上。我见过太多人只盯着显卡参数买,结果电源带不动、内存不够加载模型、硬盘读写慢到模型加载要等十分钟,整机体验一塌糊涂。这一章我按GPU、CPU和内存、存储、电源散热、预算档位、软件栈六个维度拆开讲,都是我实际装机踩过坑之后的经验。

4.1 GPU选型:显存优先、带宽次之与多卡扩展考虑

显卡的选型逻辑我说得很直白,显存容量是第一道门槛,这条线卡死了后面全白搭。你跑13B的INT8需要18GB左右的实际占用,手里拿一张16GB的卡,参数再漂亮也没用,只能靠CPU卸载把速度拖到没法用。我自己的做法是先定模型和量化,算出目标显存,再往上留4到6GB的余量给KV Cache和框架开销,这个数就是选卡的下限。别买刚好够用的容量,推理时显存峰值波动很大,长上下文或者批处理一上来就顶到天花板,OOM随时找上门。

带宽是第二顺位的事,容量够了之后才轮得到它来拉开体验差距。同样跑13B的INT8,3090的936GB/s带宽出token每秒三十多个,4060Ti的288GB/s只有十几,这个差距在日常对话里能明显感觉到卡顿。我拿两张卡对比过同一个13B的Q4_K_M模型,4090那种丝滑感是4060Ti给不了的。带宽的权重在模型越大、量化越低的时候越高,跑7B的INT4这种轻负载,两张卡的差距就没那么刺眼。

多卡扩展得看你有没有往上走的打算。我一开始也觉得单卡够用,后来想碰70B的INT4,24GB单卡跑不动,只能走双卡。双卡的坑不少,NVLink在消费级40系上被砍了,卡间通信走PCIe,张量并行的效率会打折扣。买主板的时候要看PCIe通道分配,x8加x8和x16加x4的差别在双卡推理上能体现出来。电源接口和机箱空间也得提前算好,两张三槽卡塞进去,机箱风道会被挤得很难受。

4.2 CPU与系统内存:模型加载、CPU卸载与内存容量建议

CPU在推理链路里不是主角,但它的角色比很多人想的重要。模型加载的第一步是把权重从硬盘读进系统内存,再往显存里搬,这个过程CPU和内存带宽是瓶颈。我拿机械硬盘加载一个13B的FP16模型,等了好几分钟,换成NVMe固态之后缩短到几十秒。系统内存的容量建议至少是模型文件大小的1.5倍,13B的FP16模型26GB,内存最好32GB起步,不然加载过程中系统就开始疯狂交换,卡到怀疑人生。

CPU卸载是内存真正发力的场景。llama.cpp允许把模型的某些层放在CPU上跑,显存只装一部分,剩下的层用系统内存。我拿24GB显存加64GB内存跑70B的Q4_K_M,显存装三十层左右,剩下的在CPU上跑,速度掉到每秒两三个token。这条路能跑通的前提是内存够大,70B的INT4权重35GB,加上KV Cache和系统本身的开销,64GB内存是底线,128GB会更从容。内存频率和通道数在这个场景下影响很大,双通道DDR5比单通道DDR4的卸载速度快出一截。

CPU的核心数和指令集支持也值得看一眼。AVX2和AVX-512对CPU端推理速度有实打实的提升,老平台跑卸载会明显吃亏。我对比过一颗支持AVX-512的服务器U和一颗消费级U跑同样的卸载配置,前者出token速度快将近一倍。这个差距在日常使用中能感知到,尤其是你指望它做点实际工作的时候。选CPU不用追顶级,中端型号加够大的内存,比顶级CPU配小内存实用得多。

4.3 存储与I/O:模型文件、数据集与快速加载配置

存储这块很容易被忽略,实际体验里的差距却很大。模型文件现在动辄十几GB到几十GB,7B的FP16是14GB,70B的INT4是35GB,装几个不同量化的版本,硬盘空间很快就吃紧。我建议系统盘和模型盘分开,系统盘用500GB以上的NVMe,模型盘至少2TB,最好4TB。模型文件的读写是持续的大块I/O,机械硬盘的顺序读写看着还行,随机读写拉胯,加载和切换模型的时候等得人心焦。

NVMe固态的选择也有讲究。PCIe 4.0的盘顺序读取能到7000MB/s,PCIe 3.0只有3500MB/s左右,加载一个35GB的模型,前者比后者快将近一半。我用PCIe 4.0的盘加载70B的INT4,从点击到可以对话大概一分多钟,换成PCIe 3.0的盘要两分多。这个差距在频繁切换模型的场景下会累积成很大的时间成本。盘的缓存大小和主控方案也影响持续写入的稳定性,便宜的无缓盘在长时间写入后会掉速,加载大模型时能感觉出来。

数据集和缓存的存放也得规划。做微调或者RAG的时候,数据集动辄几十上百GB,跟模型文件抢同一块盘,I/O会打架。我的做法是给数据集单独留一块盘,或者至少分一个独立的分区,避免模型加载和数据处理互相拖累。推理框架的缓存目录也建议指到大容量盘上,Hugging Face的缓存默认在用户目录,不注意就把系统盘塞满了。

4.4 电源、散热与机箱:持续推理负载下的稳定性要求

电源是整机稳定性的地基,推理负载跟游戏负载不一样,它是持续的高功耗输出,不是峰值冲一下就回落。一张4090满载功耗450W,瞬时峰值能冲到600W以上,加上CPU和其他配件,整机功耗很容易摸到800W。我建议电源额定功率按整机峰值功耗的1.5倍配,跑4090的机器上1000W金牌,跑双卡的机器直接上1300W以上。电源的12V输出能力和瞬态响应比总功率数字更关键,便宜的大功率电源在瞬态负载下容易触发保护关机。

散热在持续推理下是另一个考验。显卡跑推理几个小时的温度和跑游戏一小时完全不是一个量级,风扇转速拉满带来的噪音也很烦人。我自己的机器放在书房,24GB卡满载跑推理,机箱风扇和显卡风扇的噪音在夜间很明显。解决办法是机箱选风道设计好的,前进后出加顶部排风,显卡用三风扇的型号,CPU散热器上双塔风冷或者240水冷。温度控制在75度以下比较理想,超过85度会触发降频,出token速度直接掉一截。

机箱的空间和扩展性得提前想好。三槽厚度的显卡现在很常见,双卡配置需要主板支持足够的PCIe插槽间距,机箱的显卡限长得留出余量。我见过有人买了双卡发现第二张卡跟电源仓打架,只能退货重买。走线空间也影响风道,电源线堆在显卡前面会挡住进风,温度能高好几度。这些东西装之前用尺子量一遍,比装完了再折腾省事得多。

4.5 不同预算档位配置参考:入门、主流、进阶与多卡方案

入门档我给的预算是八千到一万二,目标是跑7B和13B的INT4。显卡选4060Ti 16GB或者3060 12GB,前者显存大一点更从容,后者便宜但容量紧。CPU配一颗中端的锐龙5或者i5,内存32GB DDR5,存储1TB NVMe加2TB机械盘放模型,电源650W金牌,机箱选个风道过得去的中塔。这套配置跑7B的INT4和13B的INT4日常对话和代码补全都够用,出token速度每秒三十左右,做个人助手很舒服。

主流档预算拉到一万五到两万五,目标是13B的INT8和7B的FP16。显卡上4070Ti Super 16GB或者二手3090 24GB,后者容量大但功耗高、矿卡风险得自己判断。CPU配锐龙7或者i7,内存64GB,存储2TB NVMe加4TB机械盘,电源850W金牌,散热上240水冷。这套配置能跑13B的INT8做代码生成和文档问答,速度和质量都拿得出手,是我认为大多数个人用户的最优区间。

进阶档预算三万到五万,目标是70B的INT4或者13B的全精度。显卡上4090 24GB单卡,或者双3090走多卡路线。CPU配锐龙9或者i9,内存128GB,存储4TB NVMe加8TB机械盘,电源1300W白金,机箱上全塔加360水冷。这套配置能碰70B的INT4,单卡跑不动就靠CPU卸载或者双卡张量并行,速度不算快但能跑起来。适合有明确大模型需求、愿意折腾的用户。

多卡方案预算五万往上,目标是70B的INT8或者更大模型的多并发服务。双4090或者双RTX 6000 Ada,主板选支持双x8通道的 workstation 板,内存256GB,存储全NVMe阵列,电源1600W钛金,机箱上服务器机箱或者全塔定制风道。这套配置的复杂度和维护成本都上了一个台阶,卡间通信、驱动兼容、散热管理都得单独调,适合有运维经验或者团队使用的场景。

档位预算显卡内存目标模型适用场景
入门0.8-1.2万4060Ti 16GB32GB7B/13B INT4个人助手、简单问答
主流1.5-2.5万3090 24GB/4070TiS64GB13B INT8、7B FP16代码生成、文档问答
进阶3-5万4090 24GB/双3090128GB70B INT4、13B FP16大模型尝鲜、复杂推理
多卡5万以上双4090/双RTX 6000 Ada256GB70B INT8、多并发小型服务、团队使用

这张表是参考框架,实际配的时候按手头的预算和目标模型微调。我的建议是别为了一步到位把预算拉满,先按当前最常用的模型配一套跑得舒服的,等需求明确了再升级。硬件迭代快,一次性堆顶配的性价比不如按需逐步加码。

4.6 软件栈与推理框架选择:Ollama、llama.cpp、vLLM、Transformers等

软件栈的选择直接决定硬件能不能发挥出来。Ollama是我推荐给大多数人的起点,安装简单,模型拉取一条命令搞定,自带API和Web界面,跑7B和13B的量化模型体验很顺。它的底层是llama.cpp,对量化的支持很全,GGUF格式的模型直接用。我用Ollama做日常对话和文档问答,切换模型很方便,显存管理也省心。它的短板在并发和长上下文场景,吞吐量不如vLLM这种为服务优化的框架。

llama.cpp适合愿意折腾、需要精细控制的用户。它支持CPU GPU混合推理,可以手动指定多少层放显存、多少层放CPU,对显存不够的场景特别友好。我跑70B的INT4就是靠它把部分层卸载到CPU上,虽然速度不快但能跑起来。编译和参数调优需要一点耐心,调好了之后灵活度很高。GGUF生态现在很成熟,市面上的量化模型基本都能找到GGUF版本,兼容性不用担心。

vLLM是冲着吞吐量去的,PagedAttention把KV Cache管理得很高效,多并发场景下比前两者快出一个量级。它适合做API服务或者多人使用的场景,单次推理的延迟不一定最优,但批量处理的能力很强。我拿它跑13B的INT8做多用户文档问答,四五个并发请求下速度依然稳定,换成Ollama就明显排队了。vLLM对显存的要求会高一些,配置的时候留足余量,不然它的KV Cache预分配会直接OOM。

Transformers是研究向和微调向的选择,灵活性最高,能改模型结构、做量化实验、跑各种自定义流程。它的推理效率不如专门优化的框架,直接拿来做生产服务不太合适。我做量化对比测试和微调实验时用它,能精细控制每个参数,观察显存和速度的变化。普通用户日常推理没必要上Transformers,Ollama或者llama.cpp的体验更好,也更省心。

框架的选择跟硬件配置是联动的。显存紧张的时候llama.cpp的卸载能力是救命稻草,显存充足、追求吞吐就上vLLM,想要开箱即用就选Ollama。我自己的机器上三个都装了,按任务切换,日常对话用Ollama,多并发测试用vLLM,折腾量化实验用llama.cpp。软件栈不是非此即彼的选择,装多个框架互相补充是更实际的做法。

前面四章把显存需求、硬件选型、整机搭配都捋了一遍,理论归理论,落到实际使用里,每个人跑的东西不一样,配置的侧重点也完全不同。我见过有人照着网上的"万能配置单"装机,结果发现自己主要跑长文档问答,KV Cache吃掉了大半显存,跑起来远不如预期。这一章我想把视角拉回到真实场景里,聊聊不同用途下配置怎么调、实测怎么做、出了问题怎么优化。这些东西都是我这两年一台机器一台机器试出来的,纸上谈兵的东西我不写。

5.1 场景匹配:个人助手、代码生成、长文档问答与多并发服务

个人助手是我用得最多的场景,也是配置要求最低的那一类。日常就是闲聊、查资料、整理文本,上下文长度几千token,7B的INT4或者Q4_K_M量化模型跑起来绰绰有余。我自己的主力机在这类场景下用的是13B的INT8,24GB显存占用大概18GB,剩下6GB留给KV Cache和框架,出token速度每秒三十多,对话体验很流畅。这个场景对显存带宽的敏感度比容量高,同样是7B模型,4060Ti和3090的体验差距主要落在响应速度上。如果只是做个人助手,没必要上大显存卡,16GB的4060Ti跑7B的FP16都够了,省下来的钱加内存和固态更划算。

代码生成是另一条线,它对模型的能力要求比个人助手高一个档次。7B模型写简单函数还行,复杂一点的逻辑就开始胡编,13B的INT8和34B的INT4是我个人觉得比较平衡的档位。我现在主力跑的是13B的INT8,24GB卡刚好装下,补全速度在IDE里几乎无感。这个场景对显存的压力主要来自上下文,代码文件动辄几万token,KV Cache的增量不能忽略。我给自己的配置是显存留足余量,框架上选llama.cpp,可以精细控制层数和上下文长度,遇到OOM就调低一点。

长文档问答是我踩坑最多的场景。一开始我以为显存够模型权重就行,结果一份几万字的PDF喂进去,KV Cache直接把显存撑爆。长文本场景下KV Cache的占用可以超过模型权重本身,这个账前面章节算过,32K上下文下13B模型的KV Cache能到好几个GB,加上权重和激活,24GB卡跑起来很紧张。我现在做长文档问答会用vLLM,它的PagedAttention对KV Cache的管理效率高很多,同样的24GB卡能撑住更长的上下文。文档特别长的时候我会配合RAG做分块检索,把上下文控制在8K到16K,显存压力小很多。

多并发服务是另一个量级的事。个人用户很少碰这个场景,但如果你想让家里的小机器给团队用,或者做个自己的API服务,配置逻辑就完全变了。多并发下显存占用不光是单请求的量,还要乘以并发数,KV Cache的预分配会让显存需求陡增。我拿24GB卡跑vLLM做多用户问答,三四并发下速度还能保持,到七八个并发就开始排队,显存也逼近上限。这个场景下显存容量比带宽重要得多,能多撑一个并发就是实实在在的体验提升。打算做小服务的话,48GB显存是比较舒服的起点。

5.2 配置决策流程:先定模型与量化,再定显存容量与整机搭配

配置决策的顺序我说过很多次,但还是有人反过来做,先买卡再找模型,最后发现卡跑不动想要的模型。正确的流程是先定模型和量化,这是所有配置的锚点。我给自己定模型的方法是看用途,个人助手和代码补全选13B及以下,复杂推理和长文档选34B往上,量化档位根据能接受的质量损失来定。定完模型去查对应的显存需求,前面章节的估算表可以直接用,算出来之后往上加4到6GB的余量,这个数就是你需要的显存容量。

显存容量定了,显卡的候选范围就收窄了。我一般会留两三个型号做对比,主要看带宽和二手价格,容量相同的卡之间带宽差距能带来明显的速度差异。24GB这个档位我对比过3090和4090,同样的13B的INT8模型,4090出token快了将近一半,但价格也翻了一倍多。值不值看你的使用频率,天天跑代码补全的话这个差价花得值,偶尔用用3090的性价比更高。

整机搭配是最后一步,也是最容易出问题的一步。显卡定了之后,电源功率按显卡满载功耗加CPU功耗再乘1.5来配,机箱确认显卡长度和厚度能装进去,主板确认PCIe插槽的位置和通道分配。内存按模型文件大小的1.5倍起步,打算用CPU卸载就直接上128GB。我见过太多人显卡买好了,电源接口不够、机箱塞不进去、内存不够加载模型,折腾一圈又退货重买。按顺序走下来这些坑都能避开。

这套流程听起来线性,实际用的时候会有反复。我自己的习惯是先用手头的卡跑目标模型的量化版,实测一下速度和质量能不能接受,能接受就按这个配置定,不能接受就调模型或者调量化档位,再重新算显存。这样试错的成本低,比买回来发现不合适再换强得多。

5.3 实测方法:显存监控、吞吐与延迟测试、输出质量评估

配置跑起来之后第一件事是看显存实际占用,别信理论值,实测才有意义。我在Linux上用nvidia-smi看整体占用,跑推理的时候开一个循环每秒刷新一次,观察峰值和平均值。Windows上我用GPU-Z的传感器页面,显存占用曲线能看得很清楚。实际占用经常比理论估算高出一截,框架的激活开销和显存碎片都会让峰值往上飘。我见过理论估算18GB实际跑到22GB的情况,余量留不够就直接OOM。

吞吐和延迟是两个不同的指标,要分开测。延迟是单个请求从输入到第一个token出来的时间,日常对话体验主要看这个。吞吐是每秒能处理的token数或者并发请求数,做服务的时候才需要关注。我测延迟的方法很简单,固定输入一段几百字的文本,用同样的参数跑十次取平均值,框架自带的计时功能或者自己写个小脚本都能测。吞吐测试我用vLLM的benchmark工具,调不同的并发数看每秒处理的请求量,找到显存能撑住的最大并发。

输出质量评估是最主观的一环,但也不能完全凭感觉。我的做法是准备一组固定的测试问题,覆盖日常对话、代码生成、逻辑推理几个维度,每个模型和量化组合都跑一遍,对比输出的准确性和流畅度。INT4量化在简单问答上和FP16的差距不明显,到了复杂推理和长代码生成就能看出来,偶尔会有逻辑断裂或者细节错误。这种差距值不值得用显存省下来,得自己权衡。我做代码生成的时候对质量敏感,宁可用INT8多占点显存,做闲聊的时候INT4完全够用。

实测这件事我建议养成习惯,每次换模型、换量化、换框架都跑一遍这三项。数据积累下来之后你对配置和体验的关系会有直觉,下次选型的时候心里有数得多。我自己的记录本上攒了几十组数据,现在帮朋友选配置基本不用现测,翻记录就能给出建议。

5.4 显存优化:量化策略、KV Cache管理、批处理与CPU GPU卸载

显存不够的时候第一反应是降量化,这是最直接的优化手段。FP16降到INT8显存直接砍半,INT8再降到INT4又砍一半,7B的FP16占14GB,INT4只要4GB左右。量化的代价是质量损失,INT8的损失很小,日常使用基本感觉不出来,INT4在复杂任务上会有可感知的下降。我的策略是按场景选量化,质量敏感的场景用INT8甚至FP16,速度敏感或者显存紧张的场景上INT4。GGUF的Q4_K_M是我用得最多的格式,质量和显存的平衡做得不错。

KV Cache管理是长文本场景下的重头戏。上下文长度翻倍KV Cache也跟着翻倍,这个账很好算。优化手段有几个方向,一是限制上下文长度,把超长文档切块处理,没必要一次全塞进去。二是用PagedAttention这类技术提高KV Cache的利用率,vLLM在这块做得最好,同样的显存能撑住更长的上下文。三是用滑动窗口或者注意力稀疏化的方法,只保留最近的若干token的KV,牺牲一点长程记忆换显存空间。我在长文档问答里用第二种方式最多,vLLM的默认配置就够用,偶尔调一下gpu_memory_utilization参数给KV Cache多留点空间。

批处理是提升吞吐的关键,对显存的压力也直接。批大小翻倍显存占用也差不多翻倍,因为每个请求都要独立的KV Cache。我在做多并发服务的时候会调批处理参数,找到显存能撑住的最大批大小。vLLM的continuous batching做得很好,动态调度请求,显存利用率高。Ollama的批处理能力弱一些,并发一多就排队。批处理调优的思路是先测单请求的显存占用,再乘以目标并发数,加上框架开销,算出总需求,超了就降批大小或者加显存。

CPU GPU卸载是显存实在不够时的保底手段。llama.cpp的--n-gpu-layers参数控制多少层放显存,剩下的层在CPU上跑。我拿24GB卡加128GB内存跑70B的Q4_K_M,显存装四十层左右,剩下的在CPU上,速度掉到每秒两三个token,但能跑起来。这个方案的瓶颈在内存带宽和CPU算力,DDR5双通道比DDR4单通道快不少,支持AVX-512的CPU也比老平台强很多。卸载比例要调,放显存的层越多速度越快,放到显存刚好装下的程度是最优的。

这几种优化手段经常组合使用。我的长文档问答配置是13B的INT8加vLLM加限制上下文长度,显存紧张的时候降到INT4,再紧张就上CPU卸载。每换一种组合都实测一遍速度和质量的取舍,找到当前硬件下的最优解。

5.5 常见问题与避坑清单:OOM、驱动兼容、多卡通信与散热降频

OOM是最高频的问题,没有之一。显存峰值波动、KV Cache预分配、框架的显存碎片,任何一个环节没算准都会触发。我的排查顺序是先看nvidia-smi的实际占用,确认峰值到多少,再看框架的日志有没有预分配失败的信息。解决手段从降量化、缩上下文、减批大小开始试,都不行就上CPU卸载。有个细节容易被忽略,显存释放不及时,切换模型的时候旧模型的显存没完全释放,新模型加载就OOM。重启推理进程或者框架能解决,长期跑服务的话要关注显存泄漏的问题。

驱动兼容是另一个隐藏的坑。新卡的驱动和老版本的CUDA、PyTorch经常打架,装完跑不起来或者跑起来速度不对。我的习惯是装驱动之前先查框架的官方文档,确认支持的CUDA版本,再装对应版本的驱动。Ollama和llama.cpp对驱动的要求宽松一些,vLLM和Transformers对版本匹配敏感得多。更新驱动之前备份一下能用的版本,出问题回滚比重新配环境快。Windows上还有个WDDM显存管理的问题,跑推理的时候显存被系统占着一部分,实际可用比标称少,这个在任务管理器里能看到。

多卡通信在消费级平台上是个麻烦事。40系砍了NVLink,双卡走PCIe,张量并行的效率打折扣。我看过实测数据,双4090跑70B的INT8,张量并行的加速比在1.6到1.8之间,到不了2。主板选双x8通道的型号比x16加x4的强不少,后者在卡间通信上会拖后腿。多卡还要注意显存的对齐,两张卡容量不一样的话并行策略会受限。我的建议是能单卡解决就别上多卡,多卡的复杂度和维护成本比省下来的钱更值钱。

散热降频在持续推理负载下很常见。显卡跑几个小时的推理,温度爬到85度以上就开始降频,出token速度明显下滑。机箱风道是关键,前进后出加顶部排风,显卡用三风扇型号,CPU上双塔风冷或者水冷。我把温度控制在75度以下,风扇噪音在可接受范围,速度也稳定。夏天室温高的时候降频更容易发生,空调房或者加强通风能缓解。还有个细节是显卡的功耗墙,默认设置下可能限制性能,用厂商工具调一下能释放一些余量,代价是温度和噪音上升。

5.6 未来趋势与升级建议:更大上下文、MoE、新量化方法与硬件演进

上下文长度这两年涨得很快,从4K到32K到128K,长文档场景的体验在快速改善。上下文变长对显存的压力是线性的,KV Cache的优化技术也在跟上。PagedAttention、滑动窗口、注意力稀疏化这些方法已经在主流框架里落地,同样显存能撑住的上下文比一年前长了不少。我预计未来一两年长上下文会成为标配,配置的时候显存余量要留得比现在更足,不然过半年就跑不动新模型的长上下文版本了。

MoE架构是另一个值得关注的方向。混合专家模型在推理时只激活部分参数,显存占用按总参数量算,算力消耗按激活参数量算。这意味着同样显存能跑更大参数量的模型,速度还比稠密模型快。Mixtral 8x7B这类模型已经在消费级硬件上跑得很顺,显存需求接近13B的稠密模型,能力却接近更大的模型。我试过在24GB卡上跑Mixtral的INT4,体验比13B稠密模型好不少。未来的模型架构大概率会往这个方向走,配置的时候可以给MoE模型留点空间。

量化方法还在迭代,GGUF、AWQ、GPTQ各有优劣,新的方法时不时冒出来。趋势是量化后的质量损失越来越小,INT4的可用性在提升。我现在的判断是INT4在未来一两年会成为主流部署格式,INT8和FP16留给质量敏感的场景。硬件端的显存容量和带宽也在涨,消费级卡24GB已经普及,48GB的型号在往消费市场渗透。升级的时候优先看显存容量,这个指标决定能跑多大的模型,比带宽更硬。

我的升级建议是按需升级,别追新。手头的配置能跑当前常用的模型就先不换,等目标模型跑不动了再考虑。硬件迭代快,一次性堆顶配的性价比不如按需逐步加码。升级的时候优先加显存,其次是内存,最后是存储和电源。我自己的机器从16GB卡升到24GB卡,主要就是为了跑13B的INT8和70B的INT4卸载方案,升级之后使用场景宽了不少。未来一两年我关注的是48GB消费卡的落地和MoE模型的普及,这两个变化会让本地部署的门槛再降一截。

赞0
踩0
☆收藏0
版权声明
文章版权声明:除非注明,否则均为chuanbook原创文章,转载或复制请以超链接形式并注明出处。
分享到
chuanbook

链接已复制到剪贴板