返回首页
Manifest

Manifest

代码编程与辅助

开源的 LLM 路由器与网关,用一个 OpenAI 兼容端点接入订阅制、按量计费、本地模型与自定义供应商,自动修复错误请求并在故障时切换备用模型。

开源路由成本
月访问量6.0 万
月访问量为第三方平台估算,仅供参考

详细介绍

Manifest 的切入点是组常被忽视的数字:生产环境里约 5% 的 LLM API 调用会失败,其中大部分本可避免。它自称是「唯一能在请求出错时当场自动修复的 LLM 网关」(the only LLM Gateway that autofixes your bad requests on the fly),目标直白——「不会断的 LLM 调用」(LLM calls that don't break)。用一个 OpenAI 兼容端点,就能接入订阅制、按量计费、本地模型与自定义供应商,官方称可在几秒内把 AI 智能体与各类框架(harnesses)连接到任何供应商,并支持免费起步(Get Started for Free)后随时转自托管。它面向 AI builders、创业团队与平台型用户设计,在 GitHub 上完全开放共建。

核心能力

  • 单端点路由:一个 OpenAI 兼容入口接所有模型与供应商,切换供应商不用改代码;官方把使用流程梳理为 Route → Fix → Observe 三步。
  • 模型回退(Fallback):主供应商不可用或报错时自动切到备用模型,减少服务中断,官方称「Fallback when providers are down」。
  • 自动修复(Autofix):对格式错误的请求当场修正,这是它区别于其他网关的核心能力,能消掉大量本可避免的失败。
  • 完整日志与成本可视化:记录每条请求体、token 与费用(Track every request, token and dollar),成本与用量一目了然。
  • 自托管与 BYOK:可自行部署,支持自带密钥(Bring your own key)、本地模型与自定义供应商;完全开源(Built in the open),并保持 OpenAI 兼容。

适合谁

同时对接多家模型供应商、被偶发失败率和账单不透明困扰的工程团队;需要在本地模型与云模型之间灵活切换的开发者;以及构建 AI 产品、平台与供应商服务的团队(官方列出 AI builders、Teams & startups、Platforms & providers 三类用户)。预算敏感的场景,可先用免费档跑真实流量,积累成本数据后再决定投入方式。

注意事项

  • 网关是流量的单点,部署与运维要自己负责,故障切换策略需提前演练。
  • 自动修复能处理格式类错误,但无法修复模型本身的逻辑错误,别把「Autofix」当万能。
  • 自托管时注意各家供应商密钥的集中管理与安全存储,避免凭据散落在配置文件里。
  • 完整日志会记录请求体,涉及敏感数据时需确认日志留存与脱敏策略。
  • 自托管版本需要一定的运维投入,网关本身的更新与安全补丁要及时跟进。
  • 免费档与自托管之间的功能差异以官网为准,选型前先核对。
  • 同一供应商限流或配额耗尽时,回退策略不一定完全兜底,需提前规划备用供应商与路由顺序。

使用建议

先把关键技术路径的请求走一遍,用它建立日志与成本基线;再启用回退和自动修复策略,逐步扩大接入范围。上线前做好供应商的密钥轮换与故障演练,把网关当成生产基础设施来对待;小团队可以先从免费档起步验证效果,再决定是否自托管;个人项目也可以把它当作统一的模型接入层,边用边看账单。