资源中心 直播回顾 艾体宝直播 | 艾体宝 TrueFoundry 让模型与工具统一管起来

艾体宝直播 | 艾体宝 TrueFoundry 让模型与工具统一管起来

直播回顾 | 艾体宝 TrueFoundry 让模型与工具统一管起来

直播概述

本次直播为艾体宝”企业 AI 治理系列”第二期,以 TrueFoundry 模型与工具配置实操为核心,通过真实业务场景,演示企业如何接入和管理不同模型、整合业务工具,并实现身份权限控制、安全策略配置及调用追踪。从实际操作出发,展示了 TrueFoundry 如何将模型、工具、权限与安全策略纳入统一管理,帮助企业建立从 AI 应用接入到运行治理的完整链路。

直播回放:https://weixin.qq.com/sph/Ad96trGPF

核心亮点回顾

模型接入:建立统一的模型调用入口

企业使用多个模型供应商时,往往面临账号凭证分散、应用配置复杂、模型切换困难等问题。TrueFoundry 通过模型网关统一管理不同供应商的模型连接,将供应商认证与应用认证分开管理,应用只需通过统一网关地址和 API Key 即可调用模型,无需直接管理底层供应商凭证。

以 DeepSeek 与阿里云模型的接入为例,通过 Virtual Model 将多个模型整合为统一调用入口,配置优先级路由,实现主备模型切换。此外,平台还支持权重、延迟和自动路由,帮助企业根据业务需求灵活调度模型资源。

工具接入:打通 AI 应用与企业业务系统

AI 模型要真正参与企业业务流程,不仅需要理解用户需求,还需要调用企业内部数据和业务工具。TrueFoundry 支持通过 Remote MCP、Hosted STDIO 和 OpenAPI 等方式接入工具服务。

TrueFoundry 工具接入方式

以销售数据查询为例,将现有业务 API 封装为 MCP 工具,实现销售数据说明、销售汇总查询和月份对比等功能。随后,讲师通过 Virtual MCP 将多个工具组合为统一入口,并进一步接入 Time MCP,实现时间查询与销售数据查询的协同调用。整个过程无需重新开发业务服务,即可复用现有 API,让 AI 应用安全调用企业业务能力。

Virtual MCP 统一入口

身份与权限:实现员工和应用的精细化授权

企业 AI 应用接入内部工具后,需要明确不同用户和应用能够访问哪些资源。TrueFoundry 将身份管理分为员工身份和应用身份:员工通过用户、团队及 PAT 进行访问;应用则通过 Virtual Account 和 Token 建立独立身份。

TrueFoundry 身份与权限管理

个人角色授权、团队资源授权及权限撤销,验证不同身份的实际访问范围各不相同。同时,平台区分入站认证与出站认证,分别管理调用者身份和下游服务凭证。通过将身份识别与资源授权结合,企业能够按照实际业务需求分配访问权限,避免不同 AI 应用共享过大的访问范围。

安全与用量治理:在调用链路中建立控制机制

TrueFoundry 通过 Guardrails、Rate Limiting 和 Budget 等能力,对模型及工具调用实施安全与资源管理。

Guardrails 支持在模型输入、模型输出、MCP 工具执行前后设置检测策略,识别并拦截不符合要求的请求。Rate Limiting 可限制模型请求及 MCP 工具调用频率,避免资源被过度消耗;Budget 则支持按照租户或团队设置费用预算与告警。

TrueFoundry 安全与用量治理

此外,平台提供 Enforce 和 Audit 两种策略执行模式:前者实际执行限制,后者记录调用情况,便于企业根据业务需求选择严格管控或持续观察。

调用追踪:实现 AI 应用运行状态的可观测

模型调用成功并不意味着业务结果一定正确。当出现回答异常、工具调用失败或安全策略拦截时,企业需要能够定位问题发生的位置。TrueFoundry 通过 Metrics 和 Request Traces 提供从整体运行指标到单次请求的可观测能力。

TrueFoundry 调用追踪与可观测

Metrics 帮助企业查看模型请求成功率、策略拦截数量等整体数据;Request Traces 则支持展开单次调用,查看模型输入输出、Token 用量、工具执行过程及异常信息。我们分别演示了正常模型请求、Guardrails 拦截和 MCP 限流三种场景,展示如何根据调用记录识别问题原因,为企业后续优化模型配置、安全策略和业务流程提供依据。

系列直播目录

第一讲 | 企业为什么需要 AI 网关?TrueFoundry 架构与核心能力解析

点击链接观看回放:https://weixin.qq.com/sph/Ad96trGPF

>> 点击了解 Truefoundry AI网关与治理平台 详情

技术工程师-史工