OmniRoute

AI编程/编码智能体

OmniRoute 是本地优先的开源 AI 网关，官方称可用一个兼容端点接入 352 家供应商，提供自动回退、19 种路由策略与上下文压缩，MIT 开源。

自动回退上下文压缩本地网关

访问网站

月访问量40.1 万↓5.7%

全球排名#159,339

月访问量为第三方平台估算，仅供参考

前往 OmniRoute 官网

Deep Dive

详细介绍

更新于 2026-11-09

快速了解

核心摘要

是什么: 本地或自托管的 AI 网关，单一端点接数百家模型供应商
核心能力: 自动回退、19 种路由策略、12 引擎压缩、MCP 与 A2A
使用方式: npm、Docker、桌面端等九种部署，端点 localhost:20128/v1
是否收费: 自托管版 MIT 开源免费；另有按月收费的托管云版本

OmniRoute 是本地优先的开源 AI 网关，官方称可通过一个 OpenAI 兼容端点接入 352 家供应商，并在额度耗尽或服务不可用时自动切换到下一个健康目标。它把路由策略、上下文压缩、故障隔离与用量分析都放进同一个进程，也提供付费的托管版本。项目已加入 Cheaper Inference，源码以 MIT 协议开放，地址是 https://github.com/cheaper-inference/OmniRoute 。

核心能力

单一端点与自动回退：所有客户端指向 localhost:20128/v1，接受 OpenAI、Claude、Gemini 与 Responses API 请求；目标不可用或配额耗尽时，网关选择下一个健康目标继续服务。
19 种路由策略：既有 auto、auto/fast、auto/cheap、auto/offline 等现成模式，也能按优先填满、加权轮询、最低成本、长上下文中继、重置窗口感知等目标组合自己的策略。
12 引擎上下文压缩：从会话去重、RTK、Caveman 到 LLMLingua-2 等多个可组合阶段，官方称可减少 15–95% 的可用 token，并提供 Lite 到 Ultra 的预设档位。
三层故障隔离：供应商熔断器、连接冷却与模型锁定分别作用在不同粒度，一把密钥失效不会拖垮整家供应商，一个模型被限流也不影响同连接上的其他模型。
MCP 与 A2A：内置 MCP server 暴露 110 个工具、覆盖 33 个作用域，另有基于 JSON-RPC 2.0 的 A2A server 提供 6 项技能，可把网关能力交给其他智能体调用。
本地优先与可观测：凭据以 SQLite 保存在本机并加密，看板提供用量、配额、节省量与延迟分析；另有语义缓存、防护规则与提示词注入检查。

适合谁

想在自有机器上统一管理大量供应商、并按成本或额度自动分流的开发者与平台团队。
长上下文与工具输出开销大，需要系统化压缩而不是手工删日志的人。
要把网关能力通过 MCP 或 A2A 交给其他智能体编排的技术团队。
在意凭据与请求数据存放位置，不愿经过托管服务的场景。

使用建议

按官网三步走：全局安装 npm 包、启动网关，再把工具的 base URL 指向 localhost:20128/v1；新装的免密自动路由可以直接试，但正式用之前先设好管理密码。
官方不同页面对供应商数量、免费层与压缩比例的表述会随版本变动，选型时以当前文档为准，别把营销数字当成固定承诺。
自托管意味着密钥、用量与历史都在本机，开放局域网或把面板暴露到公网前，先核对鉴权、代理作用域与加密配置。
堆叠免费额度、用网页 Cookie 或多账号轮询可能违反上游供应商的服务条款，团队使用前先逐条确认；托管云版本另有月费，推理用量单独计费。