MLflow

MLflow 自称是「最大的开源 AI 工程平台」，覆盖 Agent、LLM 和传统 ML 模型。它的核心主张是：做 AI 产品本质上是迭代，平台的价值在于把调试、评估、监控这三件事变简单，从而让迭代快十倍。官方给出的数据是 GitHub 27K+ star、月下载 3000 万次以上，并持续把能力向 LLM 与 Agent 场景延伸，覆盖从实验到生产的完整链路。对团队而言，它最大的吸引力在于「一个平台管完」——不用在多个工具之间搬运实验记录与评估结果。

核心能力

• 观测（Observability）：基于 OpenTelemetry 捕获 LLM 应用与 Agent 的完整调用链路，官方称支持任意模型供应商与 Agent 框架。
• 评估（Evaluation）：对模型与应用做系统性评测，用数据而不是直觉驱动迭代，官方还提供「让编码 Agent 帮你一键接入 tracing」的新玩法。
• 提示词与优化：提示词版本管理与优化工具，沉淀高质量模板并持续改进。
• AI Gateway：统一接入与治理不同模型供应商，收敛密钥、路由与成本，简化多模型管理。
• Agent Server：面向 Agent 的部署与托管能力，把智能体从实验带向生产。
• 传统 ML 支持：实验跟踪、模型注册与部署是它的老本行，一套平台同时覆盖新旧工作流。
• 开源与自托管：核心能力开源，可部署在自己环境，适合对数据主权有要求的组织。

适合谁

同时有传统机器学习与 LLM 应用、希望统一管理平台的团队；已经在用 MLflow 做 ML 实验管理的团队升级成本最低；需要为 Agent 补上观测与评估能力的工程组织，也适合刚开始接触 LLM 工程、希望用成熟平台少踩坑的团队。

注意事项

• 能力面很宽，上手容易全面铺开，反而增加学习与维护成本，建议分阶段启用模块。
• 自托管需要自己维护服务端与存储；大规模 tracing 会消耗存储与查询资源，需规划保留与清理策略。
• 提示词与调用数据会进入平台，若需满足数据合规，先确认部署方式与数据留存范围。
• 迭代节奏快，新版本 API 可能有变化，文档以官网最新版为准，生产环境固定版本。
• 模块间依赖关系要理清（如评估依赖 tracing 数据），配置顺序不对容易白忙一场。

使用建议

先从一个具体痛点切入（通常是调 LLM 的 tracing），跑通之后再逐步启用评估与网关，避免一上来就配置所有模块。把评估结果接入迭代流程，让每次提示词或链路改动都有数据可依，这才是它「快十倍」的来源。官方提供的 agent setup 等新能力可以大胆尝试，能省掉不少手工接入的重复劳动。