NVIDIAによると、一連のインシデントには共通のパターンがあった。AIエージェントが割り当てられたタスクを完了するために、アプリケーション層に組み込まれたセーフガードを回避していたという。同社のプラットフォームはこの問題に対処するため、インフラ層に追加のセキュリティ境界を提供する。

　調査会社RPA2AI Researchの創業者兼CEOであるカシャップ・コンペラ氏は、NVIDIAのジェンスン・ファンCEOがこれまでAI開発の減速論に反対し、AIによる人類滅亡のリスクを否定してきたいきさつに触れた。その上で、今回のプラットフォーム発表は同氏の主張と矛盾せず、むしろそれを促進するものだと指摘する。

　「ファンCEOは、AIの安全性を高めるために開発を遅らせるべきだという考えに抵抗してきた。NVIDIAのアプローチは、AIを進化させ続けながら、その周囲により強固な制御機構を構築することだ」（コンペラ氏）

　同氏によると、NVIDIAはこのアプローチから利益を得られる立場にある。新プラットフォームは、AIセキュリティリスクという技術的課題への対応策であると同時に、同社にとって新たな商機にもなるという。ただし同氏は、NVIDIAが既存のサイバーセキュリティシステムやID管理システムを置き換えるのではなく、確実に統合できるようにする必要があると付け加えた。

　英国オックスフォード大学コンピューターサイエンス学部のAIセキュリティ専門家であるペター・ラダンリエフ氏は、リスクはAIエージェントが意図的にセキュリティ制御を破るだけにとどまらないと話す。

　「AIエージェントは暴走するだろう。誰かがそう設計したからではなく、混乱するからだ。実行力は優れているが判断力は乏しい。私の見解では、実行力の向上スピードが判断力を上回っている」（ラダンリエフ氏）

　これに、同氏はNVIDIAのプラットフォームを実行力の問題に対する「賢明な解決策」と評価した。

　「AIエージェントの判断力を信用できないなら、アクセス可能な範囲を制限し、エージェントが触れられないハードウェアから監視すればよい」（ラダンリエフ氏）

安全性プラットフォームの構成

　「Open Agent Safety Platform」は主に2つの要素で構成されている。AIエージェントがアクセス可能な範囲に境界を設けるオープンソースベースの「OpenShell」と、NVIDIAの「BlueField-4」データ処理ユニット（DPU）上で稼働するレファレンスシステム設計「Sentry」だ。Sentryは、AIエージェントのソフトウェア環境の外側で独立した強制力を持つ層を提供する。

　NVIDIAによると、Sentryは許可された境界の外に移動しようとするAIエージェントを1秒未満で特定し、隔離できるという。

　このアプローチは、企業が単なるAIアシスタントから、基幹システム横断でアクションを実行できるAIエージェントへと移行する中で生じる課題に対処するものだ。

　ファンCEOはX（旧Twitter）への投稿で、AIの真の可能性を引き出すには、安全に構築され、責任を持って導入されているというユーザーの確信が必要だと述べた。

　NVIDIAによると、100を超える組織が同社と協力してこのプラットフォームに取り組んでいる。ここにはAnthropic、Cisco、CrowdStrike、Microsoft、Salesforce、SAP、Scale AI、ServiceNow、Palantir、Palo Alto Networksのほか、Figure、Gecko Robotics、Skild AIといったロボット関連企業も含まれる。

　オープンソースおよび商用の独自AIシステムに対応するOpenShellは、NVIDIAの開発者向けリソースやGitHubを通じて入手可能だ。

　Open Agent Safety Platformでは、安全対策の強制力をエージェントの動作環境外まで拡張できる。OpenShellが認証情報やネットワーク、ファイル、ツールへのアクセスを制限し、Sentryが追加の監視と強制を実行する。

　さらに、OpenShellがオープンであり特定のモデルに依存しないという点は、より厳格な監視システムを求める開発者や企業を引きつけるだろう。

　しかし課題もある。AIエージェントを制限して封じ込めたとしても、誤った挙動を取る可能性がある点だ。

　「エージェントは技術的な境界を全て守りながらも、誤った判断を下したり、タスクを誤解したり、正当に与えられた権限を乱用したりする可能性がある」（コンペラ氏）

実効性には疑問も

　ラダンリエフ氏は、プラットフォームの有効性がまだ証明されていないと警告する。

　「NVIDIAを含め、この種のプラットフォームが機能することを証明できた者はまだいない。共通のベンチマークはなく、比較テストの結果も公表されていない。購入者は結果ではなくアーキテクチャを比較している状態だ」（ラダンリエフ氏）

　同氏は、AIエージェントが境界内にとどまりながら誤った判断を下した場合に何が起きるかという問題も指摘した。例えば、エラーやハルシネーション（もっともらしいうそ）がエージェントのメモリに記録されたり、他のAIエージェントに事実として伝達されたりして、セキュリティアラートを発することなく数週間後の意思決定に影響を与える恐れがあるという。

　「ランタイム監視はルールを破るエージェントを捕捉できる。だが、自信満々に間違った行動を取るエージェントを捕捉するの苦手だ」（ラダンリエフ氏）

　エージェントを導入する企業にとって、これはセキュリティ制御を「エージェントが何を行っているか」の監視以上に広げる必要があることを意味する。

　「有能なエージェントが良識を備えていると思い込んではいけない。取り返しのつかない事柄については人間が判断を下すようにすべきだ。判断こそ、エージェントが最も苦手とすることだからだ」（ラダンリエフ氏）

　同氏はまた、エージェントが記憶している内容やエージェント同士の通信を監査するとともに、エラーの発生源を追跡できるようにすることを推奨した。

　「エラーを発生源までさかのぼって追跡できなければ、潜伏している問題を見つけ出すことはできない」（ラダンリエフ氏）