为真实生产环境中的大规模 AI 应用而打造
每月处理
超过100亿次请求
为生产级 AI 应用提供高吞吐量、高扩展性的推理服务能力。
平均降低
30% AI 成本
智能路由、批量处理以及预算控制机制，显著减少 Token 浪费并优化推理成本。
99.99%
服务可用性
集中式故障切换、智能路由和安全护栏机制，即使模型服务提供商发生故障，AI 应用依然能够稳定运行。
1600+
模型支持
统一 AI 网关连接和管理各类主流 AI 模型，实现集中接入与统一治理。
AI 网关：统一的大模型 API 接入层
通过单一 AI 网关整合所有主流模型，简化您的生成式 AI 技术栈。
- 通过一个 AI Gateway API，即可接入 OpenAI、Claude、Gemini、deepseek等主流模型，以及超过 250 种大语言模型（LLM）。
- 支持聊天（Chat）、文本生成（Completion）、向量嵌入（Embedding）以及重排序（Reranking）等多种模型类型。
- 集中管理 API Key 和团队身份认证，实现统一权限控制。
- 在您的基础设施内轻松编排多模型工作负载，实现灵活调用与协同运行。
AI 网关可观测性
实时掌握 AI 网关的运行状态、使用成本与合规情况，实现全链路可视化管理。
- 实时监控系统中的 Token 使用量、响应延迟、错误率以及请求量等关键指标。
- 集中存储和查看完整的请求与响应日志，满足审计合规要求并简化问题排查流程。
- 为流量添加用户 ID、团队、环境等元数据标签，获得更精细化的运营洞察。
- 按模型、团队或地域维度快速筛选日志与指标，精准定位问题根因并加快故障处理。
AI 网关配额与访问控制
通过企业级策略管理能力，实现 AI 治理、成本控制与风险防护。
- 针对用户、服务或接口设置请求速率限制（Rate Limit）。
- 基于成本或 Token 消耗量，通过元数据规则配置使用配额。
- 利用基于角色的访问控制（RBAC），实现资源隔离与权限管理。
- 通过统一规则集中管理服务账户及 Agent 工作负载，实现大规模治理。
低延迟推理
依托高性能 AI 网关基础设施，为关键业务场景提供极致推理性能。
- 即使在企业级高并发负载下，仍可实现低于 3ms 的内部处理延迟。
- 灵活扩展计算能力，轻松应对流量高峰与大规模推理任务。
- 为实时聊天、RAG 应用以及 AI 助手提供稳定可预测的响应速度。
- 将部署节点靠近推理层，最大限度降低网络延迟并减少链路损耗。
将 AI 网关直接部署于生产推理链路之中，其低延迟架构能够在不牺牲性能的前提下提供完整的治理与控制能力。
AI 网关智能路由与故障切换
通过智能流量调度机制，即使模型发生故障，也能保障业务持续运行。
- 基于响应延迟自动选择当前最快可用的大语言模型。
- 采用加权负载均衡策略智能分配流量，实现更高的可靠性与扩展能力。
- 当模型调用失败时，自动切换至备用模型继续处理请求。
- 支持基于地域的智能路由，满足不同地区的数据合规与可用性要求。
这一智能路由体系可有效避免因单个模型服务中断或延迟飙升而导致业务停摆，确保企业 AI 应用始终保持在线。
支持自托管模型
全面掌控开源模型部署与运行环境。
- 无需修改 SDK，即可快速接入 LLaMA、Mistral、Falcon 等主流开源模型。
- 完全兼容 vLLM、SGLang、KServe 与 Triton 等主流推理框架。
- 基于 Helm 实现自动扩缩容、GPU 调度及部署管理，大幅简化运维工作。
- 支持在 VPC、本地数据中心、混合云及物理隔离环境中部署和运行模型。
AI 网关与 MCP 集成
借助原生 MCP（Model Context Protocol）支持，构建安全可靠的 Agent 工作流。
- 快速连接 Slack、GitHub、Confluence、Datadog 等企业级工具。
- 轻松注册和管理内部 MCP Server，降低接入复杂度。
- 为每一次工具调用统一应用 OAuth2、RBAC 和元数据策略控制。
AI 网关安全护栏
通过可配置的安全护栏与策略控制机制，构建安全、可信的 AI 应用。
- 无缝集成并执行企业自定义安全策略，包括个人敏感信息（PII）过滤、有害内容检测等能力。
- 根据企业合规要求和安全标准，灵活定制 AI 网关安全护栏规则。
企业级 AI 网关
部署专为企业环境打造的安全 AI 网关，确保数据与模型始终运行于您的云环境或本地基础设施之中。
- 无缝集成并执行企业自定义安全策略，包括个人敏感信息（PII）过滤、有害内容检测等能力。
- 根据企业合规要求和安全标准，灵活定制 AI 网关安全护栏规则。
合规与安全
符合 SOC 2、HIPAA 及 GDPR 等国际标准，为企业提供全面的数据安全与隐私保护能力。
治理与访问控制
支持单点登录（SSO）、基于角色的访问控制（RBAC）以及审计日志，实现统一身份与权限管理。
企业级支持与可靠性
提供 7×24 小时技术支持，并通过 SLA 服务等级协议保障关键业务稳定运行。
在任意环境中部署
支持 VPC、本地数据中心、物理隔离环境以及多云架构部署。
数据始终保留在您的控制范围之内，不会离开企业边界。无论 TrueFoundry 部署于何种环境，您都能够获得完整的数据主权、环境隔离能力以及企业级合规保障。
常见问题
什么是 AI 网关？
AI 网关（AI Gateway）是一种专门用于连接、管理和部署人工智能模型与服务的中间层平台。它位于大语言模型（LLM）与企业应用之间，负责建立安全、高效、统一的交互通道。例如 OpenAI GPT、Claude 等模型都可以通过 AI 网关实现统一接入与管理。
AI 网关帮助企业解决模型接入复杂、权限分散、成本难以控制以及缺乏治理能力等问题，从而实现规模化 AI 应用落地。
AI 网关如何工作？
AI 网关位于企业应用与模型服务提供商之间，能够智能处理模型请求，包括流量路由、身份认证、故障切换以及访问控制等关键能力，从而确保企业系统始终能够稳定、高效地访问所需模型和工具。
AI 网关有哪些优势？
AI 网关为企业提供统一的 AI 服务管理平台，其核心价值包括：
- 统一接入多个 AI 模型和服务
- 提供身份认证与访问控制机制
- 满足企业安全与合规要求
- 实现使用量监控与预算管理
- 支持智能负载均衡与故障切换
- 执行数据使用和安全策略
- 支持横向扩展与新模型快速接入
借助 AI 网关，企业能够更加安全、高效且可控地管理 AI 基础设施。
AI 网关具备哪些能力？
AI 网关提供跨模型统一接入、智能路由以及自动故障切换能力，其核心能力包括：
- 治理与安全：通过身份认证、访问控制及策略执行机制，实现企业级治理与安全保障
- 成本优化：通过限流、Token 配额管理以及预算控制机制降低 AI 使用成本
- 全面可观测性：实时跟踪使用情况、性能指标以及运营成本。
- Agent 工作流支持：支持复杂 Agent 流程编排以及多步骤任务执行。
作为企业 AI 基础设施的统一控制平面，AI 网关能够帮助组织以更安全、更经济的方式实现 AI 规模化落地。
哪款 AI 网关更适合企业使用？
艾体宝 AI 网关提供完整的 AI 服务部署与管理能力，专为企业级场景打造。其主要特点包括：
- RBAC、OAuth 2.0 与 API Key 多层安全认证
- 请求限流与智能负载均衡
- 自动故障切换机制
- 内置安全护栏与内容治理能力
- 完整的日志、分析与可观测能力
- 多云架构支持
- 实时推理能力
对于需要兼顾安全、治理、性能和成本控制的企业而言，艾体宝提供了一套灵活且可扩展的 AI 基础设施解决方案。
API 网关与 AI 网关有什么区别？
传统 API 网关主要负责通用网络请求的转发与管理。而 AI 网关则专门针对大语言模型（LLM）场景设计，能够处理许多传统 API 网关无法高效完成的任务，例如：
- Token 统计与管理
- Prompt 缓存
- 模型路由
- 模型故障切换
- AI 使用成本控制
- 模型治理与安全策略执行
因此，AI 网关不仅是流量入口，更是企业 AI 应用的统一治理与控制中心。
AI 网关位于生成式 AI 架构中的哪个位置？
AI 网关直接部署在应用系统与模型服务之间的生产推理链路中。
作为统一控制平面，它负责：
- 模型路由
- 安全控制
- 权限治理
- 可观测性监控
- 成本管理
- Agent 与工具编排
整个过程无需修改应用程序逻辑，即可获得统一的 AI 管理能力。
AI 网关是否支持自托管模型和开源模型？
支持。企业级 AI 网关不仅支持托管模型，也支持 LLaMA、Mistral 等自托管或开源模型。
这些模型可以部署在 VPC、本地数据中心、混合云或物理隔离环境中，同时共享与托管模型一致的策略控制、安全治理和可观测能力。企业无需针对不同模型构建独立管理体系，即可实现统一运维与治理。
AI 网关如何帮助控制和优化推理成本？
AI 网关提供实时使用监控、Token 级追踪、配额管理以及预算控制能力。
同时，AI 网关还能通过以下方式持续优化 AI 支出：
- 智能模型路由
- 请求缓存
- 自动故障切换
- 流量调度优化
通过减少对高成本模型的不必要调用，有效避免推理费用失控，并持续提升资源利用效率。
AI 网关如何帮助满足数据隐私与合规要求？
AI 网关能够统一执行企业数据治理策略，包括：
- 个人敏感信息（PII）脱敏
- 请求过滤
- 日志审计与访问控制
- 数据处理规则管理
当部署于 VPC、本地数据中心或物理隔离环境时，所有敏感数据始终保留在企业边界内，不会离开组织控制范围。这使企业能够在保障数据安全的同时满足行业监管与合规要求。
AI 网关如何支持多团队协作与多环境管理？
AI 网关通过以下机制实现团队级隔离与治理：
- 基于角色的访问控制（RBAC）
- 团队级 API Key 管理
- 配额控制
- 使用量追踪与审计
多个团队可以安全共享模型资源与基础设施，同时保持独立权限、成本透明和责任追踪能力。
AI Gateway Playground 如何帮助开发人员构建和测试 AI 应用？
Playground 是构建在 AI 网关之上的交互式开发环境。开发人员可以在将模型接入生产系统之前，快速测试不同的：
- 大语言模型（LLM）
- Prompt 提示词
- MCP 工具
- 推理配置参数
在 Playground 中，用户可以：
- 从 Models 页面选择已接入模型
- 调整 Temperature、Max Tokens 等参数
- 配置流式输出（Streaming）
- 设置 Stop Sequences 等生成规则
- 系统将实时展示：
- 模型响应结果
- Token 消耗情况
- 响应延迟数据
开发团队无需编写代码即可完成模型评估和参数调优，大幅缩短实验周期。
当测试结果满足要求后，完整配置（包括 Prompt、模型、工具、安全护栏及结构化输出定义）均可保存为可复用模板，并在团队内部共享。
Playground 还能够自动生成 OpenAI SDK、LangChain 等框架的代码示例，帮助开发团队快速将验证通过的方案部署到生产环境。
“统一接入（Unified Access）”对于 API、密钥、工具和 Agent 意味着什么？
通过艾体宝 AI Gateway，所有模型服务和工具都统一接入到同一个 API 层。开发团队无需分别管理 OpenAI、Anthropic、Amazon Bedrock、自托管模型以及其他模型供应商的 SDK、API 地址和访问凭证。应用程序只需连接一个 Gateway Endpoint，并使用一个 Gateway Key 即可访问所有模型资源。
AI Gateway 将根据配置自动完成模型路由，因此即使更换模型或切换供应商，也无需修改应用代码。
这种统一接入能力不仅覆盖模型，还扩展至：
- MCP（Model Context Protocol）工具生态
- A2A（Agent-to-Agent）协议
- Agent 工作流
- 从而实现模型、工具和 Agent 的统一编排与管理。
- 对于开发人员而言，这意味着：
- 更简单的系统集成方式
- 更统一的开发体验
- 更清晰的安全管理模型
供应商密钥只需在网关中集中维护一次，所有访问权限均通过 RBAC 和策略体系统一管理。当新的模型或供应商接入时，也能够立即通过同一套接口供全组织使用。
Prompt 管理、版本控制与 Agent App 如何协同工作？
在 AI Gateway 中，Prompt、工具以及 Agent 配置均被视为可管理资产。开发团队可以在 Playground 中定义如下配置，随后将这些配置保存为命名模板：
- System Prompt
- User Prompt
- 输入变量
- MCP 工具
- 安全护栏
- 模型参数
每个模板都支持多版本管理，团队成员可以安全迭代和优化配置，而不会覆盖其他人的修改内容。
当新版本出现问题时，也能够快速回滚至历史版本。
因此，AI Gateway 实际上为企业提供了一套统一的 Prompt 与 Agent 配置管理平台。当某个配置经过验证并准备推广使用时，即可发布为 Agent App。
安全护栏（Guardrails）、安全检查和 PII 防护如何实现端到端安全保障？
艾体宝 AI Gateway 的安全护栏机制同时作用于输入和输出两个阶段，实现纵深防御（Defense-in-Depth）。
输入阶段
在请求发送至模型之前，系统将自动检测：
- 个人敏感信息（PII）
- Prompt 注入攻击
- 违规内容
- 禁止主题
- 并根据企业策略执行：
- 拦截
- 脱敏
- 替换
- 内容转换
输出阶段
在模型生成回复后，系统会再次进行安全审查，检测：
- 有害内容
- 偏见内容
- 幻觉输出（Hallucination）
- 策略违规行为
- 敏感数据泄露风险
- 并根据策略决定：
- 返回结果
- 修改结果
- 拒绝输出
AI Gateway 还能够集成：
- OpenAI Moderation
- AWS Guardrails
- Azure Content Safety
- Azure PII Detection
等现有安全服务。同时支持通过配置文件或 Python 代码编写企业自定义规则。
由于所有安全策略均在网关层统一执行，因此安全与合规团队能够以一致、可审计的方式落实组织级 AI 使用规范，尤其适用于医疗、金融、保险等强监管行业。
什么是 Agent App？
Agent App 是基于 AI Gateway 构建的可直接交付给最终用户使用的 Agent 应用。
与 Playground 不同，Agent App 提供的是一个简洁且受控的交互界面。业务团队、测试人员或企业内部用户可以直接体验 Agent 的真实运行效果，而无需接触底层 Prompt、工具配置或模型参数。
与此同时：
- Prompt 配置保持锁定
- 工具权限受到严格控制
- 安全护栏持续生效
- 模型路由策略统一管理
这使 Agent App 非常适用于：
- 用户验收测试（UAT）
- 内部业务试点
- 高层演示
- 企业 Copilot
- 知识问答助手
产品团队和平台团队既能开放体验，又能保持对配置和治理规则的完全控制。
