本地跑大模型怎么选配置：显存、量化与 Ollama 讲透

这套教程讲什么

从硬件原理讲到部署流程的本地大模型入门课：解释 7B/8B/32B/70B 参数量、4bit 量化为何降低内存需求，以及显存、系统内存与 KV Cache 各占什么资源；再说明 CPU 与 GPU 解决的是容量还是速度、LM Studio 与 Ollama 的角色，帮新手建立选模型和判断运行是否顺畅的框架。

你会学到什么

• 看懂 7B/8B/32B 参数量与 4bit 量化的关系
• 分清显存、内存与 KV Cache 各自的资源占用
• 明确 Ollama、LM Studio 在部署中的分工

适合谁

想在普通电脑上部署本地大模型、却不确定该选什么规格的新手。

学习建议

先按显存容量反推能跑的量化等级，再决定模型参数量，比盲目下载大文件更省时间。

常见问题

量化等级越低越好吗？

量化越低越省内存，但会损失一定精度，日常对话 4bit 通常够用，追求质量可上更高位宽。

CPU 能跑大模型吗？

能，但速度明显慢于 GPU；GPU 主要解决生成速度，显存容量则决定能不能把模型装进去。