本地部署与模型教程

Ollama 教程 / 本地大模型部署 / ComfyUI 安装 / 模型微调 / 显卡配置

把模型跑在自己机器上，换来的是数据不出本机、长期使用成本可控，以及可以按需要换模型和插件；代价是要处理环境、驱动、显存和依赖。本分类按真实安装顺序组织：先确认硬件与系统要求，再用 Ollama 之类工具跑通第一个模型，之后才是 ComfyUI 环境、插件管理、模型量化和轻量微调。

教程里反复出现的几个坑值得提前知道：显存不足时优先换量化版本而不是硬调参数；路径里带中文或空格容易引发奇怪报错；插件版本与主体版本不匹配是最常见的「昨天还能用」。建议每装完一层就验证一次，别一次性把环境全配完再回头找问题。

这个方向能学到什么

按显存与系统条件选合适的模型与量化版本
用 Ollama 在本地跑通对话模型并接入常用客户端
完成 ComfyUI 及常用插件的安装与版本管理
理解 LoRA / 微调的基本流程与数据准备
定位驱动、路径、依赖冲突等典型报错

本地部署与模型教程清单

默认排序按播放量

常见问题

本地跑大模型需要什么配置？

主要看显存与内存。7B 级量化模型在 8GB 显存的机器上通常可跑；模型越大、上下文越长，对显存要求越高，可先用量化版本试。

Ollama 和 ComfyUI 是一类东西吗？

不是。前者用于运行语言模型并提供接口，后者是图像生成的工作流环境；两者常同时装，但解决的问题不同。

本地部署比在线 API 划算吗？

取决于调用量与数据敏感度。高频、批量、涉密场景本地更合适；偶尔用一次，在线服务的成本和维护负担反而更低。

LangChain
LangChain 是构建大模型应用的开放 Agent 平台，由开源框架与 LangSmith 组成，覆盖构建、测试、部署、监控与治理全周期，官方称已被 7000+ 组织使用
580 万/月
Ollama
开源大模型的本地运行时，一键拉起模型、提示词不出本机，也能走云端。适合在本地跑模型、介意数据外传的开发者，桌面三平台都能装。
1501 万/月
DeepSeek 开放平台
深度求索面向开发者的大模型开放平台，接口兼容 OpenAI 与 Anthropic，提供两个在售模型、1M 上下文与工具调用，按 token 分时段计费，并可直接接入主流编码智能体工具。
1483 万/月
DeepSeek 深度求索
DeepSeek 是深度求索的大模型系列，官方开源 V4、R1 等前沿模型，提供网页版、手机应用与开放 API，主打高性价比与原生多模态视觉理解能力。
4.33 亿/月
Cherry Studio
开源的跨平台桌面 AI 客户端，一个窗口切换 50 多家服务商的大模型，对话、绘图、翻译、知识库全部本地留存，适合需要自配密钥、数据不外传的用户。
14.5 万/月
LM Studio
桌面端本地 AI 应用，现以 Bionic 智能体面向写作与编程，支持本地模型运行、文档与代码生成、实时语音转写，官方称云端推理为美国境内零数据保留。
443 万/月
AnythingLLM
完全跑在本地电脑上的私有 AI 助手，支持文档知识库、会议转写纪要与语音输入，无需账号和 API key，也没有 token 上限，适合处理敏感资料又常开会的团队。
13.9 万/月
飞书Aily
飞书旗下的企业工作伙伴平台，官方描述为用自然语言对话即可生成专属助手，无需开发经验，可连接企业知识与内部系统，随时调试并实时预览。
19.0 万/月