开源模型量化实战指南：GGUF、GPTQ、AWQ选型与本地部署，低显存也能跑大模型
1.1 开源模型量化的定义：从浮点权重到低比特表示 我刚开始接触开源模型量化，脑子里冒出的问题很直接：量化到底把模型怎么了？把 Llama、Qwen 这类开放权重模型下载下来，原始权重通常是 FP16...
1.1 开源模型量化的定义：从浮点权重到低比特表示 我刚开始接触开源模型量化，脑子里冒出的问题很直接：量化到底把模型怎么了？把 Llama、Qwen 这类开放权重模型下载下来，原始权重通常是 FP16...
