agent-router

Agent Router 是一个基于 Envoy 的开源控制平面，专为 AI 和 Agent 流量设计。它为应用团队提供一个统一、OpenAI 兼容的 API，以访问各类托管或自托管的 AI 模型和工具。平台团队可以通过它集中管理 AI 服务的凭证、路由、配额、故障转移和使用归因。Agent Router 采用两层网关架构，第一层处理认证、全局路由和限流，第二层提供对自托管模型更精细的控制和 LLM 推理优化，广泛支持主流 AI 提供商。

• 统一的 OpenAI 兼容 API，支持多种 AI 模型和工具
• 集中式控制平面，管理流量、凭证和策略
• 基于 Envoy 实现路由、配额、故障转移和使用归因
• 两层网关架构，实现全局与精细化控制
• 广泛支持主流 AI 服务提供商