LiteLLM

LiteLLM 是开源的 AI 网关与模型代理，面向平台团队把整个 AI 栈收在一个兼容 OpenAI 的密钥后面。官网给出的覆盖范围是 140 多家供应商、1892 个模型，并把路由、可观测性、成本管控与治理放在同一层，支持在自有基础设施里自托管，甚至部署在气隙环境中。跟托管式的聚合服务不同，它的核心卖点是代码开源、密钥与审计轨迹留在自己手里。

核心能力

• 一个密钥接入全部模型：把模型、智能体与 MCP 放在同一套 API 与同一套登录之后，官网给出的覆盖为 140+ 供应商、1892 个模型；密钥管理由网关统一承担。
• 路由、优化与治理四层能力：官网把能力分为优化、可观测、路由与治理四块，可查看谁在产生花费、在超支前设上限，并把每个请求送到该处理的模型上。
• 开源与自托管：官网强调你的密钥、你的基础设施、你的审计轨迹，支持任意环境自托管，包括气隙网络；项目在 GitHub 上标注 62.9k 星标，并提供 OSS 与开发者分区。
• 快速部署与低开销：Quick Start 给出 macOS 与 Linux、Windows、Python SDK 三种方式，一行脚本即可拉起；官网称网关开销为亚毫秒级，并提供基准测试页面，另有「一个下午接入现有技术栈」的说明。
• 企业功能与文档体系：站点设 Docs、Product、Security、Blog、Careers 等栏目，提供企业版咨询与常见问题区；首页还列出 NVIDIA、Netflix、Okta 等团队的官方使用评价。

适合谁

• 要给整个组织提供统一模型入口、又要自己保管密钥与日志的平台团队
• 需要按团队设花费上限、追踪每次请求归属的工程与财务协作场景
• 有气隙或私有化部署要求、不能把调用数据送出内网的机构
• 已在多家模型之间反复切换、希望改配置而不是改代码的开发者

使用建议

• 先用 Quick Start 的脚本或 Python SDK 在测试环境拉起网关，接一两个常用供应商验证统一密钥是否生效，再逐步把其余模型迁进来。
• 花费上限与路由策略建议在网关层统一配置，按团队或项目分密钥；官网的可观测面板能看清谁在产生花费，先观察基线再设额度。
• 若选私有化部署，提前确认目标环境是否能访问上游模型服务，气隙场景只能配合自托管模型使用，别把自托管网关误当成自带模型。
• 开源版本与企业版的功能边界、以及支持的供应商清单会随版本变化，上线前核对官方文档与安全说明；官网的基准测试数据也应以当前版本为准。