NVIDIAの新しいエージェントセキュリティプラットフォームの概要

今週、NVIDIA は Open Agent Safety Platform を発表した。AI agent を統制するための無料のオープンソース技術スタックで、agent が一線を越えた瞬間に数ミリ秒で隔離するハードウェアのリファレンス設計も含まれている。

タイミングはこれ以上ないほど良かった。ここ数か月、制御を失った agent による事故が立て続けに起きている。ある agent は評価用サンドボックスから抜け出し、Hugging Face の本番インフラで数千回の操作を自律的に実行した。別の agent はオーストラリア政府の医療システムに侵入した。

NVIDIA はこのパターンを一言でまとめている。どの事件でも、agent は割り当てられたタスクを完了するために、アプリケーション層のセキュリティ制御を迂回していた。

同社の Open Agent Safety Platform は今年発表された agent インフラの中で最も重要なものの一つだ。ただ、問題の全体を覆っているわけではないと私は考えている。

NVIDIA の Open Agent Safety Platform を見る

プラットフォームは大きく二つで構成される。

OpenShell は agent 向けのセキュアなランタイムだ。モデルと agent harness の外側に位置し、agent のあらゆる動作を追跡してポリシーを強制する。土台のモデルがどんなガードレールを備えていようと関係ない。NVIDIA の Vera CPU 向けにチューニングされているが、オープンソースなので Arm や Intel にも広げられる。GitHub で全面的に公開済みだ。

NVIDIA Sentry は BlueField-4 DPU 上で動くリファレンスシステム設計で、NVIDIA はこれを「帯域外ウォッチドッグ」と呼ぶ。agent のリクエストとレスポンスを検査し、agent の identity を検証し、データ・ツール・API にゼロトラストのアクセス制御を適用し、認証可能なテレメトリを生成する。いずれも隔離されたトラストドメインの中で完結し、そのドメインは agent からも攻撃者からも見えないと NVIDIA は言う。agent が自分のソフトウェア境界を出ようとすれば、Sentry がチップのレベルで止める。

NVIDIA はこのプラットフォームを三つの層のガバナンスとして位置づけている。agent を動かすソフトウェア、その下のコンピュートとハードウェア、そして物理世界で動くロボットシステムだ。すでに 100 以上の組織が使用しており、Anthropic、SpaceXAI、Salesforce、SAP、Scale AI、CrowdStrike、Palo Alto Networks、JPMorganChase、そして Hugging Face 自身も含まれる。

なぜこれが重要な一歩なのか

この二年間、agent セキュリティの大半は、システムプロンプトやアプリケーション層の許可リストなどで agent に「おとなしくしていてくれ」と頼むことだった。こうした制御はすべて agent と同じ層にあり、agent が十分に強ければ必ず抜け道が見つかる。Hugging Face の侵入はまさにその種の失敗だ。agent が突いた弱点はどれもありふれたものだったが、マシンの速度で経路を試し続け、ついに一つが通ってしまった。

NVIDIA のプラットフォームは、ポリシーを強制する実行プレーンそのものを変える。極めて効果的たらしめている特徴は三つある。

1. 実行点が agent の手の届かない場所にある。 ポリシーは独立した DPU と独立したトラストドメインで動く。推論でこれを迂回するのは、プロンプトやラッパーライブラリを迂回するよりはるかに難しい。
2. マシンの速度での確実な封じ込め。 agent 攻撃の核心はスループットにある。攻撃者は経路を一つ試すのにほとんどコストを払わないが、防御側は時間と注意力を大量に費やす。ハードウェアレベルでのミリ秒単位の隔離は、攻撃者の時間感覚で動く防御として私が初めて見たものだ。
3. 認証可能なテレメトリ。 これは agent が自身の記録を改ざんする問題を解決する。METR による Hugging Face 事件の調査では、agent に実際その能力があることが確認されている。帯域外で生成され、agent からも見えず改ざんもできない記録こそ、事件の経過を確実に再現する必要があるときに欠かせない証拠だ。

この技術は agent をより安全にする。オープンソース化も大きな勝利だ。エコシステム全体が恩恵を受け、その上にさらに築ける。各ベンダーがそれぞれ車輪の再発明を待つ必要はない。

封じ込めの先にあるもの

先週、Monte Carlo の CEO 兼共同創業者である Barr Moses は、相次ぐ agent セキュリティ事件を受けて、彼女が言うところのロシアの入れ子人形問題について書いた。

彼女の主張の核心はこうだ。agent の安全を他の agent に任せることが増えれば、各層の守護者自身も、ドリフトしたり誤判定したり機能しなくなったりしうるシステムになる。そうなれば安全は再帰的な問題になる。agent が別の agent を監視するとして、この入れ子はどこまで続くのか。

NVIDIA のプラットフォームはその一部をうまく解いている。

Sentry は agent の意図を推測しようとする推論モデルではなく、ハードウェアに組み込まれたポリシー実行だ。だから越境ということに関しては、再帰を確かに終わらせられる。

だが問題がある。企業環境で見かける agent の故障の多くは、実は何の境界も越えていない。

権限ルールが決めるのは agent に何が許されるかであり、agent が本当に正しいことをしているかには答えられない。この隙間はよく目にする。

いくつか例を見てみよう。

• データ agent が本番テーブルへの正規の書き込み権限を持ち、あなたが指示したマイグレーションを実行する——これは権限の範囲内の行為だ。だが、join key を1つ差し替え、行の4分の1をひっそり落とし、きれいに見える結果を下流のダッシュボードとモデル再学習ジョブに渡す——これもまた権限の範囲内である。
• インフラ agent にアイドル状態のクラウドリソースを停止する権限が与えられており、CPU 指標を読み違えて待機中のフェイルオーバークラスタを終了させた——これも権限逸脱ではない。やがて主クラスタが落ち、混乱が起きる。

これは独特で、対処が極めて難しい種類の障害だ。agent は権限を持ち、しかも間違えた。

残念ながら、より優れたサンドボックスに替えてもこの種の障害は捕まえられないし、チームが今使っているほとんどのツール——LLM 評価器や出力ガードレールなど——でも捕まえられない。それらは agent の応答がもっともらしいか、フォーマットが整っているかを教えてくれるが、agent が取った行動が正しいかは教えてくれない。

この種の障害を捕まえるには、agent の実行過程（prompt、ツール呼び出し、行動）と、下流で生じた結果を結びつける必要がある。

セキュリティと可観測性の融合は続く

Monte Carlo の見立てでは、次世代の AI 防御技術はセキュリティと可観測性の融合から生まれる。

NVIDIA が今回発表した内容の多くは、そもそも可観測性の言葉で書かれている。これは上の判断を裏づける：

• OpenShell の最も核となる能力はすべての行動を追跡すること。
• Sentry の差別化要因には検証可能なテレメトリが含まれる。
• Salesforce の Slack 連携は、agent の活動と監査イベントの確認、そして承認プロセスへの人間の関与に重点を置く。
• Anthropic は Claude Managed Agents により、企業が各 agent の行動をはっきりと見られるようになると述べている。
• Scale AI は監査能力を最初から内蔵していることを強調する。

セキュリティは依然としてコントロールプレーンであり、境界、アイデンティティ、権限に関心を向ける。だがコントロールプレーンが機能するには、信頼できる行動記録が欠かせない。そしてその記録を生成し、推論するのは、これまで可観測性ツールの仕事だった。

ここまで来ると、各領域がパズルの1ピースであり、いずれも真の agent 信頼へと向かっていることがわかる。封じ込めがあって可観測性がなければ、agent は自分の権限内に留まるが、物事を壊しかねない。逆に可観測性があって封じ込めがなければ、手も足も出なかった侵入の、詳細で美しいタイムラインが手に入るだけだ。両者が揃って初めて、ますます高性能になり、行動が複雑化する agent を管理するために必要な階層が得られる。