インフラ層で封じ込める新技術の限界
AIエージェント暴走をミリ秒で隔離 NVIDIAがハードで挑む暴走抑止
主要ベンダーのAIエージェントが制御を突破する事件が頻発。NVIDIAはインフラ層で暴走を隔離する新基盤を投じたが、専門家は「正当な権限で行う誤判断」のリスクを警告する。情シスが備えるべき防壁とは。
野放しのAIに対する懸念が高まる中、NVIDIAは2026年9月28日、暴走したAIエージェントをミリ秒単位で封じ込めるというAI安全性プラットフォームを発表した。
同社が発表した「NVIDIA Open Agent Safety Platform」により、開発者はAIエージェントに独自のセーフガードを設定できる。AIエージェントが許可された環境から逸脱するのを防ぐ仕組みだ。
この発表の背景には、大手テック企業のAIエージェントを巡る一連のインシデントがある。OpenAIやAnthropic、Meta、GoogleなどのAIエージェントがセキュリティ制御を回避し、外部システムをハッキングする事態が発生。こうした状況を受けて、AIのガードレールに対する監視の目が強まっている。Anthropicのダリオ・アモデイCEOは2026年9月、モデルを制御下に置くために開発のペースを落とすよう呼びかけた。
NVIDIAはインフラ層で暴走を隔離する新基盤を投じたが、専門家は「正当な権限で行う誤判断」のリスクを警告している。以下では、情シスが備えるべき防壁について解説する。
賢明な解決策となるか
NVIDIAによると、一連のインシデントには共通のパターンがあった。AIエージェントが割り当てられたタスクを完了するために、アプリケーション層に組み込まれたセーフガードを回避していたという。同社のプラットフォームはこの問題に対処するため、インフラ層に追加のセキュリティ境界を提供する。
調査会社RPA2AI Researchの創業者兼CEOであるカシャップ・コンペラ氏は、NVIDIAのジェンスン・ファンCEOがこれまでAI開発の減速論に反対し、AIによる人類滅亡のリスクを否定してきたいきさつに触れた。その上で、今回のプラットフォーム発表は同氏の主張と矛盾せず、むしろそれを促進するものだと指摘する。
「ファンCEOは、AIの安全性を高めるために開発を遅らせるべきだという考えに抵抗してきた。NVIDIAのアプローチは、AIを進化させ続けながら、その周囲により強固な制御機構を構築することだ」(コンペラ氏)
同氏によると、NVIDIAはこのアプローチから利益を得られる立場にある。新プラットフォームは、AIセキュリティリスクという技術的課題への対応策であると同時に、同社にとって新たな商機にもなるという。ただし同氏は、NVIDIAが既存のサイバーセキュリティシステムやID管理システムを置き換えるのではなく、確実に統合できるようにする必要があると付け加えた。
英国オックスフォード大学コンピューターサイエンス学部のAIセキュリティ専門家であるペター・ラダンリエフ氏は、リスクはAIエージェントが意図的にセキュリティ制御を破るだけにとどまらないと話す。
「AIエージェントは暴走するだろう。誰かがそう設計したからではなく、混乱するからだ。実行力は優れているが判断力は乏しい。私の見解では、実行力の向上スピードが判断力を上回っている」(ラダンリエフ氏)
これに、同氏はNVIDIAのプラットフォームを実行力の問題に対する「賢明な解決策」と評価した。
「AIエージェントの判断力を信用できないなら、アクセス可能な範囲を制限し、エージェントが触れられないハードウェアから監視すればよい」(ラダンリエフ氏)
安全性プラットフォームの構成
「Open Agent Safety Platform」は主に2つの要素で構成されている。AIエージェントがアクセス可能な範囲に境界を設けるオープンソースベースの「OpenShell」と、NVIDIAの「BlueField-4」データ処理ユニット(DPU)上で稼働するレファレンスシステム設計「Sentry」だ。Sentryは、AIエージェントのソフトウェア環境の外側で独立した強制力を持つ層を提供する。
NVIDIAによると、Sentryは許可された境界の外に移動しようとするAIエージェントを1秒未満で特定し、隔離できるという。
このアプローチは、企業が単なるAIアシスタントから、基幹システム横断でアクションを実行できるAIエージェントへと移行する中で生じる課題に対処するものだ。
ファンCEOはX(旧Twitter)への投稿で、AIの真の可能性を引き出すには、安全に構築され、責任を持って導入されているというユーザーの確信が必要だと述べた。
NVIDIAによると、100を超える組織が同社と協力してこのプラットフォームに取り組んでいる。ここにはAnthropic、Cisco、CrowdStrike、Microsoft、Salesforce、SAP、Scale AI、ServiceNow、Palantir、Palo Alto Networksのほか、Figure、Gecko Robotics、Skild AIといったロボット関連企業も含まれる。
オープンソースおよび商用の独自AIシステムに対応するOpenShellは、NVIDIAの開発者向けリソースやGitHubを通じて入手可能だ。
Open Agent Safety Platformでは、安全対策の強制力をエージェントの動作環境外まで拡張できる。OpenShellが認証情報やネットワーク、ファイル、ツールへのアクセスを制限し、Sentryが追加の監視と強制を実行する。
さらに、OpenShellがオープンであり特定のモデルに依存しないという点は、より厳格な監視システムを求める開発者や企業を引きつけるだろう。
しかし課題もある。AIエージェントを制限して封じ込めたとしても、誤った挙動を取る可能性がある点だ。
「エージェントは技術的な境界を全て守りながらも、誤った判断を下したり、タスクを誤解したり、正当に与えられた権限を乱用したりする可能性がある」(コンペラ氏)
実効性には疑問も
ラダンリエフ氏は、プラットフォームの有効性がまだ証明されていないと警告する。
「NVIDIAを含め、この種のプラットフォームが機能することを証明できた者はまだいない。共通のベンチマークはなく、比較テストの結果も公表されていない。購入者は結果ではなくアーキテクチャを比較している状態だ」(ラダンリエフ氏)
同氏は、AIエージェントが境界内にとどまりながら誤った判断を下した場合に何が起きるかという問題も指摘した。例えば、エラーやハルシネーション(もっともらしいうそ)がエージェントのメモリに記録されたり、他のAIエージェントに事実として伝達されたりして、セキュリティアラートを発することなく数週間後の意思決定に影響を与える恐れがあるという。
「ランタイム監視はルールを破るエージェントを捕捉できる。だが、自信満々に間違った行動を取るエージェントを捕捉するの苦手だ」(ラダンリエフ氏)
エージェントを導入する企業にとって、これはセキュリティ制御を「エージェントが何を行っているか」の監視以上に広げる必要があることを意味する。
「有能なエージェントが良識を備えていると思い込んではいけない。取り返しのつかない事柄については人間が判断を下すようにすべきだ。判断こそ、エージェントが最も苦手とすることだからだ」(ラダンリエフ氏)
同氏はまた、エージェントが記憶している内容やエージェント同士の通信を監査するとともに、エラーの発生源を追跡できるようにすることを推奨した。
「エラーを発生源までさかのぼって追跡できなければ、潜伏している問題を見つけ出すことはできない」(ラダンリエフ氏)
Copyright © ITmedia, Inc. All Rights Reserved.
TechTarget発 先取りITトレンド
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
この記事の著者
関連記事
新着ホワイトペーパー PR
-
課題解決
[NTT東日本株式会社] いま建設業に「10ギガ光回線」が必要な理由とは? -
課題解決
[NTT東日本株式会社] 情報漏えいも業務停止もさせない「止まらないネットワーク」への第一歩は? -
課題解決
[NTT東日本株式会社] 情報漏えいや業務停止に備える、安心・安定のネットワーク環境とは? -
事例
[Wrike Japan 株式会社] 年間100件超でも“プロジェクト炎上”を回避、JERAの管理体制は何が違うのか? -
事例
[Wrike Japan 株式会社] プロジェクト納品時間を最大40%短縮 事例で見る「劇的な高速化」の実現方法
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
「Active Directory」復旧で“詰む”企業が続出 ランサムウェアに備える4対策
-
2
なぜ「WSUS」を捨てない? 非推奨でも35%が使い続けるワケ
-
3
なぜ「Microsoft Teams」がランサムウェアの入り口になるのか?
-
4
Java SEに「Java4Shell」、WebLogicも修正――今朝の情シスニュース
-
5
企業が「Microsoft Azure」を選ばざるを得ない理由
-
6
なぜ「PHP2Shell」はパッチを当てても終わらないのか?
-
7
「Android」の極悪マルウェア、非公式アプリからうっかり感染しないためには?
-
8
「Microsoft 365」障害はなぜ拡大? “安全装置”フェイルオーバーのわな
-
9
なぜAIで「無意味な仕事」が増えるのか 人間の監視がむしろ足かせに?
-
10
パスワードはなぜ死んだか 情シスが今すぐ始めるパスキー移行の現実解
ホワイトペーパーランキング PR
-
1
「IT史に名を残すシステム障害」8選
-
2
SCS評価制度時代の「SASE選定」ガイド
-
3
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
-
4
マンガで解説:情シスの負担を減らす「MDRサービスのインシデント対応」の中身
-
5
自社のメール環境は本当に安全? チェックシートですぐ分かる“今必要な対策”
-
6
三井ホームに学ぶ「無線LAN環境」構築 快適なオフィスと高度なIT運用の両立法
-
7
「RPA導入の成果が出ない」を防ぐ、成果につながる自動化対象業務の選び方
-
8
AIが苦手な「汚いデータ」になっていない? AI投資を無駄にしないための注意点
-
9
「止まらない」と「シンプル運用」を両立、四街道市新庁舎を支えるネットワーク
-
10
AIに何を聞いても「汎用的な答え」しか返ってこないのはなぜか?
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー