
Ollama
代码编程与辅助开源大模型的本地运行时,一键拉起模型、提示词不出本机,也能走云端。适合在本地跑模型、介意数据外传的开发者,桌面三平台都能装。
详细介绍
Ollama 解决的是一件很具体的事:不想把提示词交给别人的服务器,又想在本地用上开放模型。它支持 macOS、Windows 和 Linux,本地与云端两条路都能走,官方强调提示词不会被存储、也不会被拿去训练。对做本地推理的人来说,它的价值不在模型多强,而在一句命令就能把东西跑起来。下面把它能做的事和该怎么用说清楚。
核心能力
- 本地运行开放模型:在自有机器上拉起模型,推理过程留在本机,不经过第三方服务。
- 云端路径:同一个产品也可以把请求放到云上跑,本机算力不够时有个去处。
- 隐私取向:官方声明提示词不会被存储或用于训练,这是它主打的差异点。
- 模型库与文档:官网提供 Models 列表、文档、定价页与下载入口,也挂了博客。
- 活跃度可参考:官网展示 GitHub 星标 18 万以上、月安装量 900 万次以上、模型下载 10 亿次以上、服务 token 200 万亿以上,均为官方口径。
- 社区与支持:官网设有 GitHub、Discord、X 等入口,并单列 Careers、Privacy、Terms 页面。
适合谁
- 手里有涉密或合规数据,内容不能外传的个人与团队
- 想在笔记本上跑中小规模开放模型做本地推理、不想按调用付费的人
- 习惯在命令行里工作,愿意自己管模型版本与硬件资源的人
- 想对比本地模型与云端模型差异、拿同一提示词做对照实验的人
使用建议
- 先按官网的 Get started 走通本地拉起,再考虑云端,两边的表现差异需要自己实测。
- 官网那几项安装量与 token 量是活跃度参考,引用时注明是官方口径,别当成自己的基准。
- 本地推理速度取决于硬件与量化方式,别照搬别人的参数配置,先用小模型试起。
- 官网同时列了 Pricing,说明云端部分是计费服务,用之前先看条款与适用范围。
- 隐私承诺以官网 Privacy 页面文本为准,涉及敏感数据时把条款原文看完再决定。
- 团队里推之前先确认一件事:同事的机器跑不跑得动,模型再强,硬件不匹配就是白折腾。
相似工具

Unsloth
开源的本地 AI 工作台,桌面端即可下载模型对话,无代码微调模型,还能本地生成与编辑图像视频,并可把编码智能体接到自己的 GPU。
同标签 · 本地部署 / 开源

Stable Diffusion
Stability AI 的生成式 AI 产品线,含开源图像模型与企业级图像、视频、3D/4D 模型与音频工具包,支持商用授权,可本地部署或走企业托管。
同标签 · 本地部署 / 开源

LLM
开源命令行工具兼 Python 库,在终端调用 OpenAI、Claude、Gemini、Qwen、DeepSeek 等几十家模型,提示词与响应存进本地 SQLite 可随时检索
同标签 · 开源

Kilo
开源 AI 编码代理,覆盖 VS Code、JetBrains、CLI 与云端,可接入 500 多个模型并支持自带密钥零加价,用本地模型可保护代码隐私。
同标签 · 开源
数以轻舟Agent
数以轻舟 Agent 是主打本地化的 Excel 数据处理智能体,由北京乾策数智科技有限公司出品,支持本地大模型接入、数据清洗与多表关联,并把生成的代码自动存成脚本以便断网复用。
同标签 · 本地部署

Cherry Studio
开源的跨平台桌面 AI 客户端,一个窗口切换 50 多家服务商的大模型,对话、绘图、翻译、知识库全部本地留存,适合需要自配密钥、数据不外传的用户。
同标签 · 开源
