Model Groups

Model Group 是产品使用的一类 AI 能力名称。它把 Provider 账号、具体模型、fallback 和路由规则隐藏在一个稳定别名后面。

为什么需要 Model Group

• 产品团队可以使用稳定名称，例如 coding-agent、smart-llm、reasoning 或 vision。
• 运维团队可以调整 Provider 或 fallback 规则，而不需要改业务代码。
• 财务团队可以按业务工作负载查看用量和费用，而不是只看 Provider key。
• 管理员可以把 Coding Plan backend 和按量计费 backend 放在同一个 group 中。

控制台里能看到什么

每一行都会显示 group 名称、健康状态、路由摘要、请求量、token 量、延迟和错误率。打开一个 group 后，可以查看 routing tree 和实时用量。

常见 Group 模式

General Assistant

使用强主模型，并在主模型失败或并发达到上限时切换到备用 Provider。

Coding Agent

优先使用 Coding Plan 容量，额度接近耗尽时 fallback 到按量计费 API 账号。

Fast Cheap

为抽取、分类和短回答等高频场景使用低成本模型池。

Vision

按文件大小、Provider 能力或延迟目标路由多模态请求。

最佳实践

• 按工作负载命名 group，不要按 Provider 命名。
• 每个主要产品场景保留一个生产 group。
• 修改路由后查看健康状态和费用变化。
• 删除共享 backend 前，先查看它被哪些 group 使用。