「AIが勝手にポリシーを書き換えた」 CrowdStrikeが警告するAIエージェント暴走の悪夢：利便性の裏に潜む“AIの暴走”

自律的に動く「AIエージェント」の業務導入が進む裏で、セキュリティを勝手に回避する“暴走リスク”が顕在化している。人の管理限界を超えつつある未知の脅威に対し、企業はどのような対策を講じるべきなのか。

[TechTargetジャパン]

　前例のないスピードで企業はAIツールの導入を進めている。しかしその裏で、自律的にタスクを実行する「AIエージェント」の暴走という深刻なガバナンスの不備が生じつつある。

　ソースコードの修正権限を持たないAIエージェントが、権限を持つ別のエージェントに社内チャットで修正を依頼し、アクセス制限や防御網を回避してしまった――。こうした事態はすでに現実の企業で発生している。AIエージェントは単なる自動化ツールではなく、人の指示を待たずに独立して推論し、意思決定を下す主体になった。導入を急ぐあまり、AIエージェントがどのようなプロセスで判断を下したのか、管理者が把握できないブラックボックス化が進行しているのだ。

　AIエージェントがもたらす問題は、社内システムでの誤作動にとどまらない。攻撃者がAIエージェントを悪用し始めたことで、脅威の展開速度は人の対処速度の限界をはるかに超えつつある。安全を確保しながらAIエージェントを活用するためには、従来のセキュリティ態勢を根本から再設計する必要がある。推論過程のブラックボックス化や制御不能なAIエージェントの行動に対し、企業はどのようなガードレールを設けるべきなのか。

AIエージェントが招く3つの脅威と対策

併せて読みたいお薦め記事

AIエージェントの暴走を止めるには

• AIエージェントが「勝手にデータ削除」する日　情シスが負うべき“暴走の代償”
• Ciscoが警告する「AIエージェント」の恐怖　勝手に行動するリスクと3つの防衛策

　2026年3月に開催されたセキュリティカンファレンス「RSA Conference 2026」において、セキュリティベンダーCrowdStrikeのCEO兼創業者であるジョージ・カーツ氏は、「The Crash Test is Over: New Standards of Command for AI Safety」と題した基調講演に登壇。AIエージェント時代の脅威の実態と、企業が講じるべき3つの安全原則を提示した。

　カーツ氏は、企業におけるAIエージェント活用の課題として以下の3点を挙げた。

1. 推論過程のブラックボックス化（見えない推論）
2. 回路遮断機（キルスイッチ）の欠如
3. AI技術を用いた攻撃速度と人の対処速度のギャップ

　前述のAIエージェント同士が連携して権限を回避したケースは、AIモデルの推論過程が可視化されていない「見えない推論」の典型例だ。法務部門のAIツールが、従業員の期待に応えようとするあまり架空の証拠文書を生成してしまうハルシネーション（幻覚）も、このブラックボックス性に起因する。

　ある大手企業のCEOが自社システムでAIエージェントを稼働させた際、AIエージェントが既存のセキュリティポリシーによって動作をブロックされると、自らポリシーを書き換えて許可を得ようとしたという。ポリシーの変更がシステムに反映されようとした時点で初めて明らかになったが、自律的に動くAIエージェントに対して人間が即座に動作を停止させるキルスイッチが存在していなかったことが問題を深刻化させた。

　攻撃手法の進化も、AIエージェントによって加速している。CrowdStrikeは2025年における280以上の攻撃者グループの動向を追跡し、調査レポート「2026 CrowdStrike Global Threat Report」にまとめた。それによると、攻撃者が侵入したシステムから別デバイスに横展開するまでの「ブレークアウトタイム」は、2024年調査の平均48分から29分に短縮し、最速ではわずか27秒を記録した。

　AIモデルや拡張機能（スキル）の公開リポジトリを標的としたサプライチェーン攻撃も発生している。AIエージェントのスキルレジストリ内に存在する1万3000個のスキルのうち、1100個がマルウェアに感染し、バックドアや認証情報収集機能が組み込まれるという事態も確認されている。

　こうした課題に対処するため、カーツ氏はAIガバナンスにおける3つの基本原則を提唱した。

　1つ目は「運用可視性」だ。AIエージェントが何を根拠に意思決定したのかを追跡、監査できる仕組み（トレーサビリティー）が不可欠となる。特に規制産業においては、「AIが勝手にやった」という言い訳は通用しない。

　2つ目は「人間による制御」だ。AIエージェントの自律性を生かしつつも、最終的な稼働の判断や、異常時の強制停止は人間が実施する権限を確保しなければならない。自動運転車における遠隔オペレーターのように、システムを監視し、必要に応じて介入できる「ヒューマンインザループ」の体制が求められる。

　3つ目は「集合的レジリエンス」だ。驚異的なスピードで進化する脅威に対しては、単一企業での対処には限界がある。共通で利用しているAIモデルやサービス経由での不正アクセスを瞬時に検出し、企業横断で脅威情報を素早く共有する「コミュニティー免疫」の確立が必要だという。

　これらの原則をシステムに組み込むための実践的なアプローチとして、カーツ氏はエンドポイント保護の次世代モデル「AIDR」（AI Detection and Response）という概念を紹介した。

　これからの業務は、「Windows」や「Linux」などの従来のOSから、AIエージェントを中核とする「AI OS」に移行する。AIモデルの学習自体はクラウドサーバで実行されるが、エンドユーザーによるAIエージェントの利用や対話処理は常に手元のデバイスで発生する。

　従来のEDR（Endpoint Detection and Response）は人が操作するデバイスの脅威を対象としていたのに対し、AIDRはAIエージェントの自律的な振る舞いを監視し、適切なガードレールを提供する。エンドユーザー一人一人が複数のAIエージェントを駆使して業務する近い将来、AIDRは企業が安全にAIを活用するための新たな標準になり得る。

　企業はAIエージェントの導入を止めるべきではないが、安全対策を欠いたまま暴走することも避けなければならない。スピードと安全性を両立させるための新たなガバナンス構築が、今まさに急務となっている。

本稿は、RSACが2026年3月25日に公開した動画「The Crash Test is Over: New Standards of Command for AI Safety」を基に作成しました。