
Manifest
代码编程与辅助开源的 LLM 路由器与网关,用一个 OpenAI 兼容端点接入订阅制、按量计费、本地模型与自定义供应商,自动修复错误请求并在故障时切换备用模型。
详细介绍
Manifest 的切入点是组常被忽视的数字:生产环境里约 5% 的 LLM API 调用会失败,其中大部分本可避免。它自称是「唯一能在请求出错时当场自动修复的 LLM 网关」(the only LLM Gateway that autofixes your bad requests on the fly),目标直白——「不会断的 LLM 调用」(LLM calls that don't break)。用一个 OpenAI 兼容端点,就能接入订阅制、按量计费、本地模型与自定义供应商,官方称可在几秒内把 AI 智能体与各类框架(harnesses)连接到任何供应商,并支持免费起步(Get Started for Free)后随时转自托管。它面向 AI builders、创业团队与平台型用户设计,在 GitHub 上完全开放共建。
核心能力
- 单端点路由:一个 OpenAI 兼容入口接所有模型与供应商,切换供应商不用改代码;官方把使用流程梳理为 Route → Fix → Observe 三步。
- 模型回退(Fallback):主供应商不可用或报错时自动切到备用模型,减少服务中断,官方称「Fallback when providers are down」。
- 自动修复(Autofix):对格式错误的请求当场修正,这是它区别于其他网关的核心能力,能消掉大量本可避免的失败。
- 完整日志与成本可视化:记录每条请求体、token 与费用(Track every request, token and dollar),成本与用量一目了然。
- 自托管与 BYOK:可自行部署,支持自带密钥(Bring your own key)、本地模型与自定义供应商;完全开源(Built in the open),并保持 OpenAI 兼容。
适合谁
同时对接多家模型供应商、被偶发失败率和账单不透明困扰的工程团队;需要在本地模型与云模型之间灵活切换的开发者;以及构建 AI 产品、平台与供应商服务的团队(官方列出 AI builders、Teams & startups、Platforms & providers 三类用户)。预算敏感的场景,可先用免费档跑真实流量,积累成本数据后再决定投入方式。
注意事项
- 网关是流量的单点,部署与运维要自己负责,故障切换策略需提前演练。
- 自动修复能处理格式类错误,但无法修复模型本身的逻辑错误,别把「Autofix」当万能。
- 自托管时注意各家供应商密钥的集中管理与安全存储,避免凭据散落在配置文件里。
- 完整日志会记录请求体,涉及敏感数据时需确认日志留存与脱敏策略。
- 自托管版本需要一定的运维投入,网关本身的更新与安全补丁要及时跟进。
- 免费档与自托管之间的功能差异以官网为准,选型前先核对。
- 同一供应商限流或配额耗尽时,回退策略不一定完全兜底,需提前规划备用供应商与路由顺序。
使用建议
先把关键技术路径的请求走一遍,用它建立日志与成本基线;再启用回退和自动修复策略,逐步扩大接入范围。上线前做好供应商的密钥轮换与故障演练,把网关当成生产基础设施来对待;小团队可以先从免费档起步验证效果,再决定是否自托管;个人项目也可以把它当作统一的模型接入层,边用边看账单。
相似工具

Helicone AI
Helicone 是开源 LLM 可观测与 AI 网关平台:请求日志、监控告警、策略路由、多维细分与 HQL 分析,改一行 base_url 接入,被增长最快的 AI 公司使用。
同标签 · 开源

Kilo
开源 AI 编码代理,覆盖 VS Code、JetBrains、CLI 与云端,可接入 500 多个模型并支持自带密钥零加价,用本地模型可保护代码隐私。
同标签 · 开源

MLflow
MLflow 是最大的开源 AI 工程平台,覆盖 Agent、LLM 与传统模型:链路观测、系统评估、提示词优化、AI 网关与模型部署一站搞定,让 AI 迭代快十倍。
同标签 · 开源

Vanna.ai
开源 SQL 智能体框架,让不懂 SQL 的用户用自然语言查询公司各业务系统,内置用户级权限、配额管理、现成 UI 组件,支持多数据库与多轮对话。
同标签 · 开源

LLM
开源命令行工具兼 Python 库,在终端调用 OpenAI、Claude、Gemini、Qwen、DeepSeek 等几十家模型,提示词与响应存进本地 SQLite 可随时检索
同标签 · 开源

Portkey
面向生成式 AI 的生产级平台,以 AI 网关统一接入多家模型,配套可观测性、护栏、治理与提示词管理,现已更名为 PRISMA AIRS AI Gateway。
同分类
