如何在16G以下显存上部署某些24B、35B甚至更大的模型

本地部署与模型视频教程· 进阶· 9 分钟· UP 主 Ycylone· B站AI创作大赛 / AI / Qwen3

▶ 18.6万播放

Q6模型的速度约30t/s以上，Q4模型的速度约45t/s以上，同时有128k上下文。Ycylone 主讲的本地部署与微调教程：如何在16G以下显存上部署某些24B、35B甚至更大的模型。10 分钟覆盖完整流程，配套要点见下方清单

这套教程讲什么

在自己的机器上跑通大模型推理

有一定硬件基础，想理解模型部署全链路的开发者。

跑通最小部署后再尝试进阶配置，不要一开始就追求完美环境。

部署后能做什么？

本地推理、知识库问答、批量处理等，具体能力取决于所选模型与配置。

家用电脑跑得动吗？

视频里有不同显存档位的方案对比，低配机器可选量化后的模型。

把模型跑在自己机器上，换来的是数据不出本机、长期使用成本可控，以及可以按需要换模型和插件；代价是要处理环境、驱动、显存和依赖。本分类按真实安装顺序组织：先确认硬件与系统要求，再用 Ollama 之类工具跑通第一个模型，之后才是 ComfyUI 环境、插件管理、模型量化和轻量微调。