模型量化版本效果对比：一文看懂FP16/INT8/INT4/FP8与GPTQ/AWQ怎么选不踩坑
我头一回认真琢磨模型量化这件事，是在一台显存只有24GB的机器上跑72B参数模型的时候。那时候FP16版本的权重直接把显存撑爆，我盯着OOM报错愣了半天，心想这玩意儿到底该怎么落地。后来试了INT8、...
我头一回认真琢磨模型量化这件事，是在一台显存只有24GB的机器上跑72B参数模型的时候。那时候FP16版本的权重直接把显存撑爆，我盯着OOM报错愣了半天，心想这玩意儿到底该怎么落地。后来试了INT8、...
