AIが勝手にインフラを書き換える前に
AIエージェントを暴走させない設定、済んでますか? 対策5選を専門家が紹介
OpenAIとAnthropicは、サイバーセキュリティ評価中のAIモデルによるインシデントを公表した。悪意なく事案を引き起こす恐れがあるAIエージェントを統制するためのポイント5つを専門家が紹介する。
AIエージェントは意思決定や複雑なワークフローの実行を支援する一方、新たなセキュリティリスクを持ち込む。統制やポリシー、想定した適用範囲を外れて動く、いわゆる「暴走」だ。
暴走したAIエージェント(rogue AI agent)は、必ずしも悪意を持っているわけではない。だが、過剰な権限や不十分な監視の下では、意図しない操作や情報流出、外部システムへの攻撃を引き起こす可能性がある。企業は事案の発生をどのように避ければいいのか。セキュリティの専門家が5つのポイントを紹介する。
既存のセキュリティ原則で防ぐ暴走リスク
2026年7月、OpenAIは、サイバーセキュリティ評価中のモデルが隔離のための統制を回避し、インターネットへ接続した事案を公表した。モデルはOpenAIの研究インフラの一部を侵害したほか、Hugging Faceの複数サーバでコードを実行し、一部では管理者権限を取得。非公開データや認証情報にもアクセスしたという。
2026年7月30日にはAnthropicも、サイバーセキュリティ評価中に起きた3件のインシデントを公表した。Claude Opus 4.7やClaude Mythos 5などが参加した評価環境で、設定上の不備からインターネットへ接続できる状態になり、実在する3組織のシステムを評価対象と誤認して不正アクセスした。最も早い事案は同年4月に発生していた。
AIエージェントに人の介在を減らした業務を任せるほど、こうしたリスクは大きくなる。企業は自社のエージェントを制御するだけでなく、外部のエージェントが自社環境へ侵入する場合にも備える必要がある。
なぜAIエージェントは暴走するのか
原因は大きく5つある。
1つ目は、自律性の与え過ぎだ。人間の確認なしに複数の処理を連続実行させれば、小さな誤りが積み重なって大きな事故につながる。
2つ目は、ガードレールの不足だ。「何を実行できるか」「どこまで実行できるか」を技術的に制限しなければ、AIエージェントが不可逆な操作まで実行する恐れがある。
3つ目は、権限の与え過ぎだ。タスクに必要な範囲を超える権限を持たせれば、誤動作した際の影響範囲も広がる。
4つ目は、監視不足だ。API呼び出しやデータベースアクセス、クラウド操作などを記録していなければ、異常を事故発生後まで把握できない。
5つ目は、人が介入するポイントが決まっていないことだ。調査や情報収集は自動化しても、本番環境の変更やデータ削除まで人の承認なしで実行させるべきとは限らない。
情シスが最初に実施すべきこと
まず必要なのは、社内で稼働するAIエージェントの棚卸しだ。「どこで動いているか」「何にアクセスできるか」「どんな操作が可能か」を把握する。
その上で、AIエージェントを企業IT環境で動作する1つのシステムとして扱い、少なくとも次の5つを実施したい。
1.最小権限を徹底する
AIエージェントには、割り当てられたタスクの遂行に必要な権限だけを与える。利便性を理由に管理者権限を与えたり、将来使う可能性を理由に広範なアクセスを許可したりしない。
2.挙動を監視する
API呼び出し、データベースアクセス、クラウドサービスの操作、ファイルの読み書きを記録する。
例えば、普段アクセスしないデータベースを参照する、IAMの設定を変更する、これまで触れていなかったファイルを書き換えるといった挙動は、異常として検知できるようにする。
3.「正常な挙動」を決めておく
AIエージェントが通常アクセスするシステム、API呼び出し回数、扱うデータ、実行する操作などを定義しておく。
正常時の基準があれば、「突然API呼び出しが急増した」「通常は参照しないシステムへ接続した」といった変化を検知しやすくなる。
4.重要操作には人の承認を入れる
全ての操作を人が確認していては、AIエージェントを使う意味が薄れる。重要なのは、事故時の影響を基準に線引きすることだ。
公開情報の読み取りやレポート作成、計算などは自動化しやすい。一方、本番データベースの変更、システム設定の変更、機密情報の削除、管理者アカウントの作成、金融取引、アプリケーションの本番展開などは、人の承認を挟むべき操作だ。
5.すぐ止められる仕組みを用意する
異常を検知しても、AIエージェントを止められなければ意味がない。問題が発生した際に、認証情報を失効させる、セッションやプロセスを終了する、ネットワークから隔離する、外部ツールとの連携を遮断するといった対応を即座に実行できるようにする。
外部のAIエージェントから自社をどう守るか
OpenAIやAnthropicの事例が示すように、想定外にインターネットへ接続したAIエージェントが外部システムへアクセスする可能性もある。
このような場合に備えるための基本は特殊なものではない。重要なのは、外部から侵入されることを前提に「侵入後の行動範囲を狭くする」ことだ。
APIには強固な認証と認可を設定し、認証に成功したからといって広範なアクセスを許可しない。サードパーティアプリケーションやサービスアカウントにも最小権限を適用し、アクセスできるデータやシステムを限定する。
同時に、外部からのAPIリクエストや認証試行、ネットワーク接続を監視する。リクエストの急増や、普段アクセスされないシステムへの接続などを異常として検知する仕組みも必要になる。
さらに、社内のどのAIサービスやサードパーティ連携が、どのシステムやデータへのアクセス権を持つのかを定期的に棚卸しする。不要になった権限は削除する。
「AIだから特別」ではなく権限と影響範囲を管理する
AIエージェントの暴走対策というと、新しいセキュリティ製品やAI特有の防御策が必要なのではないかという声もある。しかし基本となるのは、最小権限、監視、認可、ゼロトラスト、人による承認といった既存のセキュリティ原則だ。
従来と異なるのは、AIエージェントが人より高速に、複数の操作を連続して実行できる点にある。
情報システム部門が確認すべきなのは、「AIエージェントを導入しているか」だけではない。「何にアクセスできるのか」「どこまで自律的に操作できるのか」「異常時に誰が止めるのか」まで把握することが、事故の影響を抑える第一歩になる。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
製品資料
[ニュータニックス・ジャパン合同会社] クラウドネイティブ戦略ガイド:8つの主要課題と解決策を解説 -
製品資料
[ニュータニックス・ジャパン合同会社] プラットフォーム技術者のための「クラウドネイティブ」プレイブック -
製品資料
[ニュータニックス・ジャパン合同会社] ハイブリッドクラウドでハードウェア価格高騰のリスクを回避する方法 -
製品資料
[ニュータニックス・ジャパン合同会社] AI時代に必要なインフラモダナイゼーションの考え方とは? -
製品レビュー
[Dropbox Japan株式会社] ランサムウェア対策で見直したい「復旧できるファイル基盤」とは?
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
なぜ「全社配布Copilot」は使われないのか? 失敗に学ぶAI定着
-
2
鹿島建設のDXを阻む「10年前のAWS」 安全性と自由度を両立したモダナイズ
-
3
なぜ「Gemini 4 Argon」は出遅れたのか? Googleが狙う“逆転のシナリオ”
-
4
損保ジャパンはなぜ「COBOL」を捨てなかったのか? 脱メインフレームの真相
-
5
情シスの約8割が転職や退職を意識 調査で分かった“辞めたくなる最大の理由”
-
6
【漫画付き】ひとり情シス協会が明かす、RAG導入でしくじる企業「2つの共通点」
-
7
「Wi-Fi 7」経由でWindowsが乗っ取られる? 最高権限奪取の恐怖
-
8
「結局使わなくなる」Microsoft 365 Copilotを半年で定着 キリンの3施策
-
9
現役エンジニアに聞く「顔認証システム」開発の舞台裏
-
10
「Excel管理」では限界――製造現場の改善が進まない“隠れた原因”
ホワイトペーパーランキング PR
-
1
不審メールの経路や見せ方に変化? 2026年夏の3事例から見えた動向と対処方法
-
2
Microsoft 365を安全に運用 うっかりミスやサイバー攻撃に備えるデータ保護術
-
3
LLMが兵器化? 元FBI高官が鳴らす警鐘とセキュリティツール統合のポイント
-
4
財務部門がAIを最大限に活用する方法 無駄のない戦略的リーダーシップへの道
-
5
生成AIを開発に導入しても効果が見えない? 実証実験で分かった成果と課題
-
6
「オンプレミス回帰」せざるを得ない“合理的な理由”
-
7
システムの保守がモダン化を阻む? 「変えない判断」から脱却する方法とは
-
8
経産省DX指針から読み解く、受発注業務デジタル化ロードマップ
-
9
“あのファイル転送”で暗躍するノーウェアランサム
-
10
HDDを使わない「SSDオンリー」が無謀なのはなぜ?
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー