llama.cpp量化推理工具实战指南:旧笔记本也能本地跑大模型,少走量化调参与部署弯路
我在一台没有独立显卡的旧笔记本上第一次跑起本地大模型,用的就是llama.cpp。那种感觉挺实在:不用装一堆Python依赖,编译完几个可执行文件,塞进一个GGUF模型就能对话。这个项目由Georgi...
我在一台没有独立显卡的旧笔记本上第一次跑起本地大模型,用的就是llama.cpp。那种感觉挺实在:不用装一堆Python依赖,编译完几个可执行文件,塞进一个GGUF模型就能对话。这个项目由Georgi...