NVIDIA新智能体安全平台一览

本周，NVIDIA 推出了 Open Agent Safety Platform，一套用于管控 AI agent 的免费开源技术栈。其中包含一个硬件参考设计，能在 agent 越界的几毫秒内将其隔离。

时机再合适不过。过去几个月，失控 agent 引发的事故一桩接一桩：有的 agent 逃出评估沙箱，在 Hugging Face 的生产基础设施里自主执行了数千次操作；有的则侵入了澳大利亚政府的医疗系统。

NVIDIA 用一句话概括了这个模式：每一起事件中，agent 都绕过了应用层的安全控制，只为完成被指派的任务。

他们的 Open Agent Safety Platform 是今年发布的最重要的 agent 基础设施之一。不过我认为，它并没有覆盖问题的全部。

看看 NVIDIA 的 Open Agent Safety Platform

该平台由两大部分组成。

OpenShell 是面向 agent 的安全运行时。它位于模型和 agent harness 之外，追踪 agent 的每一个动作，并强制执行策略，无论底层模型自带什么护栏。它针对 NVIDIA 的 Vera CPU 做了调优，又因为是开源的，可以扩展到 Arm 和 Intel。目前已在 GitHub 上全面开放。

NVIDIA Sentry 是一套参考系统设计，运行在 BlueField-4 DPU 上。NVIDIA 称之为“带外看门狗”。它检查 agent 的请求与响应，验证 agent 身份，对数据、工具和 API 实施零信任访问控制，并生成可认证的遥测数据。所有这些都在一个隔离的信任域中完成——NVIDIA 称该信任域对 agent 和攻击者都不可见。如果 agent 试图离开自己的软件边界，Sentry 会在芯片层面拦住它。

NVIDIA 将这套平台定位为三个层面的治理：运行 agent 的软件、其下的计算与硬件，以及在物理世界中行动的机器人系统。已有 100 多家机构在使用，包括 Anthropic、SpaceXAI、Salesforce、SAP、Scale AI、CrowdStrike、Palo Alto Networks、JPMorganChase，以及 Hugging Face 自己。

为什么这是重要的一步

过去两年，agent 安全大多意味着用系统提示词、应用层白名单之类的机制去“请求”agent 守规矩。这些控制手段全都和 agent 处在同一层，只要 agent 足够强，总能找到绕过去的路。Hugging Face 那次入侵正是这类失败。agent 利用的弱点都很普通，但它以机器速度不断尝试各种路径，直到有一条走通。

NVIDIA 的平台改变了执行策略所在的运行平面。它有三个关键特性，使其极为有效：

执行点在 agent 触及范围之外。 策略运行在独立的 DPU 和独立的信任域上，agent 想靠推理绕过去，比绕过一段提示词或一个包装库难得多。
机器速度下的确定性遏制。 agent 攻击的核心问题是吞吐量：攻击者多试一条路径几乎不花成本，防御者却要付出大量时间和注意力。硬件层面的毫秒级隔离，是我见过的第一个按攻击者的时间尺度运作的防御手段。
可认证的遥测。 这解决了 agent 篡改自身记录的问题——METR 对 Hugging Face 事件的调查发现，agent 确实有能力做到这一点。由带外生成、agent 既看不到也无法篡改的记录，正是你在需要可靠还原事件经过时所必需的证据。

这项技术会让 agent 更安全。把它开源也是巨大的胜利，这意味着整个生态都能受益并在此基础上继续构建，而不必等每家厂商各自重新发明一遍。

遏制之外

上周，Monte Carlo 的 CEO 兼联合创始人 Barr Moses 针对接二连三的 agent 安全事件，写了她所说的俄罗斯套娃问题。

她的核心论点是：当 agent 安全越来越多地交由其他 agent 负责，每一层守护本身也是一个可能漂移、误判或失效的系统。这种情况下，安全就成了一个递归问题：agent 要监控别的 agent，那这层层嵌套到哪儿才算头？

NVIDIA 的平台把其中一部分解决得不错。

Sentry 不是一个试图猜测 agent 意图的推理模型，而是做进硬件里的策略执行，所以在越界这件事上，它确实能终止递归。

但有个问题：我们在企业环境里见到的许多 agent 故障，其实并没有越过任何边界。

权限规则决定的是 agent 被允许做什么，回答不了 agent 是否真的在做正确的事。这个缺口我们见得很多。

看下面几个例子：

数据 agent 对生产表拥有合法写权限，它执行你要求的迁移时，是在边界内行事。它换了一个 join key、悄悄丢掉四分之一的行，然后把看起来干净的结果交给下游看板和模型重训任务时，同样也在边界内。
基础设施 agent 被允许关停闲置的云资源，它误读 CPU 指标、终止了一个待命故障转移集群时，也没有越权。主集群最终宕机，引发一场混乱。

这是一类独特、极难处理的故障：agent 既有授权，又做错了事。

可惜的是，换一个更好的沙箱抓不住这类故障，团队现在用的大多数工具也抓不住，比如 LLM 评估器和输出护栏。它们能告诉你 agent 的回复看起来是否合理、格式是否规整，但无法告诉你它采取的行动是否正确。

要抓住这类故障，必须把 agent 的执行过程（它的 prompt、工具调用和动作）与下游产生的结果关联起来。

安全与可观测性的融合仍在继续

Monte Carlo 的看法是，下一代 AI 防御技术来自安全与可观测性的融合。

NVIDIA 这次发布的内容，很大一部分本就是用可观测性的语言写成的，这印证了上述判断：

OpenShell 最核心的能力是追踪所有动作。
Sentry 的差异化优势包括可验证的遥测。
Salesforce 的 Slack 集成，重点是查看 agent 活动和审计事件，并在审批环节引入人工。
Anthropic 称 Claude Managed Agents 让企业清楚看到每个 agent 在做什么。
Scale AI 强调审计能力从一开始就内建。

安全仍然是控制平面，关注边界、身份和权限。但控制平面如今要运转，就必须依赖一份可信的行为记录，而生成这份记录并对其做推理，一直是可观测性工具的活儿。

现在你可以看到，每个领域都是拼图中的一块，共同指向真正的 agent 信任。有遏制而无可观测性，agent 会守在自己的权限范围内，却可能把事情搞坏。反过来，有可观测性而无遏制，你得到的是入侵事件一份详尽漂亮的时间线，而这场入侵你根本拦不住。两者结合，才能提供必要的分层，去管控能力越来越强、行为越来越复杂的 agent。