Mercury

Mercury 是 Inception 推出的扩散式大语言模型系列。主流模型逐字往外吐 token，Mercury 改用扩散思路并行生成，官方称因此能做到低于 300 毫秒的首字延迟、5 到 7 倍的吞吐，以及最多低 70% 的单任务成本。团队来自斯坦福、UCLA、康奈尔、Google DeepMind、Meta AI、微软 AI 和 OpenAI，官方称已在财富 500 强企业部署。

核心能力

• 并行解码：官方称扩散模型一次生成多个 token，而非顺序逐字生成，从而提升速度并拉高 GPU 利用率。
• 低延迟：官方称首字延迟低于 300 毫秒，适合实时交互场景。
• 吞吐与成本：官方称吞吐为同类速度优化模型的 5 到 7 倍，单任务成本最多降低 70%。
• 结构化输出：扩散框架对输出有细粒度控制，可遵循指定的结构与语义约束。
• 产品矩阵：Mercury 3 面向复杂推理，输入 $0.10、输出 $0.35 每百万 token；Mercury Voice 首字延迟低于 170 毫秒；Mercury Decide 返回带校准的概率，并支持把没把握的转给人工。
• 接入简单：API 兼容 OpenAI 接口，可作为传统模型的直接替换；同时通过 AWS Bedrock 与 Azure Foundry 提供。
• 企业级保障：官方称提供 99.5% 以上可用性与自定义 SLA，支持微调和私有部署。

适合谁

• 做实时语音客服的团队：首字延迟直接决定对话是否自然。
• 代码编辑器与补全厂商：补全慢半秒，用户就离开心流。
• 高并发智能体平台：吞吐和单任务成本决定毛利。
• 批量分类与路由场景：用 Decide 处理结构化选择，把不确定的转人工。
• 有私有化要求的企业：需要云厂商通道和可用性承诺。

使用建议

• 迁移成本很低：接口兼容 OpenAI，先改地址和模型名跑一轮对比。
• 按场景选型号：实时语音用 Voice，复杂推理用 Mercury 3，二选一的分流用 Decide。
• 结构化任务把 schema 写死，扩散模型对约束的遵循是它的卖点之一。
• 价格页标注了 50% OFF，属于限时折扣，做预算时按原价留余量。
• 先小流量灰度，用你自己的任务测延迟和成本，官方基准不等于你的业务基准。
• 对数据驻留有要求的，走 Bedrock 或 Foundry 并谈私有部署。