AIが勝手にインフラを書き換える前に
AIエージェントを暴走させない設定、済んでますか? 対策5選を専門家が紹介
OpenAIとAnthropicは、サイバーセキュリティ評価中のAIモデルによるインシデントを公表した。悪意なく事案を引き起こす恐れがあるAIエージェントを統制するためのポイント5つを専門家が紹介する。
AIエージェントは意思決定や複雑なワークフローの実行を支援する一方、新たなセキュリティリスクを持ち込む。統制やポリシー、想定した適用範囲を外れて動く、いわゆる「暴走」だ。
暴走したAIエージェント(rogue AI agent)は、必ずしも悪意を持っているわけではない。だが、過剰な権限や不十分な監視の下では、意図しない操作や情報流出、外部システムへの攻撃を引き起こす可能性がある。企業は事案の発生をどのように避ければいいのか。セキュリティの専門家が5つのポイントを紹介する。
既存のセキュリティ原則で防ぐ暴走リスク
2026年7月、OpenAIは、サイバーセキュリティ評価中のモデルが隔離のための統制を回避し、インターネットへ接続した事案を公表した。モデルはOpenAIの研究インフラの一部を侵害したほか、Hugging Faceの複数サーバでコードを実行し、一部では管理者権限を取得。非公開データや認証情報にもアクセスしたという。
2026年7月30日にはAnthropicも、サイバーセキュリティ評価中に起きた3件のインシデントを公表した。Claude Opus 4.7やClaude Mythos 5などが参加した評価環境で、設定上の不備からインターネットへ接続できる状態になり、実在する3組織のシステムを評価対象と誤認して不正アクセスした。最も早い事案は同年4月に発生していた。
AIエージェントに人の介在を減らした業務を任せるほど、こうしたリスクは大きくなる。企業は自社のエージェントを制御するだけでなく、外部のエージェントが自社環境へ侵入する場合にも備える必要がある。
なぜAIエージェントは暴走するのか
原因は大きく5つある。
1つ目は、自律性の与え過ぎだ。人間の確認なしに複数の処理を連続実行させれば、小さな誤りが積み重なって大きな事故につながる。
2つ目は、ガードレールの不足だ。「何を実行できるか」「どこまで実行できるか」を技術的に制限しなければ、AIエージェントが不可逆な操作まで実行する恐れがある。
3つ目は、権限の与え過ぎだ。タスクに必要な範囲を超える権限を持たせれば、誤動作した際の影響範囲も広がる。
4つ目は、監視不足だ。API呼び出しやデータベースアクセス、クラウド操作などを記録していなければ、異常を事故発生後まで把握できない。
5つ目は、人が介入するポイントが決まっていないことだ。調査や情報収集は自動化しても、本番環境の変更やデータ削除まで人の承認なしで実行させるべきとは限らない。
情シスが最初に実施すべきこと
まず必要なのは、社内で稼働するAIエージェントの棚卸しだ。「どこで動いているか」「何にアクセスできるか」「どんな操作が可能か」を把握する。
その上で、AIエージェントを企業IT環境で動作する1つのシステムとして扱い、少なくとも次の5つを実施したい。
1.最小権限を徹底する
AIエージェントには、割り当てられたタスクの遂行に必要な権限だけを与える。利便性を理由に管理者権限を与えたり、将来使う可能性を理由に広範なアクセスを許可したりしない。
2.挙動を監視する
API呼び出し、データベースアクセス、クラウドサービスの操作、ファイルの読み書きを記録する。
例えば、普段アクセスしないデータベースを参照する、IAMの設定を変更する、これまで触れていなかったファイルを書き換えるといった挙動は、異常として検知できるようにする。
3.「正常な挙動」を決めておく
AIエージェントが通常アクセスするシステム、API呼び出し回数、扱うデータ、実行する操作などを定義しておく。
正常時の基準があれば、「突然API呼び出しが急増した」「通常は参照しないシステムへ接続した」といった変化を検知しやすくなる。
4.重要操作には人の承認を入れる
全ての操作を人が確認していては、AIエージェントを使う意味が薄れる。重要なのは、事故時の影響を基準に線引きすることだ。
公開情報の読み取りやレポート作成、計算などは自動化しやすい。一方、本番データベースの変更、システム設定の変更、機密情報の削除、管理者アカウントの作成、金融取引、アプリケーションの本番展開などは、人の承認を挟むべき操作だ。
5.すぐ止められる仕組みを用意する
異常を検知しても、AIエージェントを止められなければ意味がない。問題が発生した際に、認証情報を失効させる、セッションやプロセスを終了する、ネットワークから隔離する、外部ツールとの連携を遮断するといった対応を即座に実行できるようにする。
外部のAIエージェントから自社をどう守るか
OpenAIやAnthropicの事例が示すように、想定外にインターネットへ接続したAIエージェントが外部システムへアクセスする可能性もある。
このような場合に備えるための基本は特殊なものではない。重要なのは、外部から侵入されることを前提に「侵入後の行動範囲を狭くする」ことだ。
APIには強固な認証と認可を設定し、認証に成功したからといって広範なアクセスを許可しない。サードパーティアプリケーションやサービスアカウントにも最小権限を適用し、アクセスできるデータやシステムを限定する。
同時に、外部からのAPIリクエストや認証試行、ネットワーク接続を監視する。リクエストの急増や、普段アクセスされないシステムへの接続などを異常として検知する仕組みも必要になる。
さらに、社内のどのAIサービスやサードパーティ連携が、どのシステムやデータへのアクセス権を持つのかを定期的に棚卸しする。不要になった権限は削除する。
「AIだから特別」ではなく権限と影響範囲を管理する
AIエージェントの暴走対策というと、新しいセキュリティ製品やAI特有の防御策が必要なのではないかという声もある。しかし基本となるのは、最小権限、監視、認可、ゼロトラスト、人による承認といった既存のセキュリティ原則だ。
従来と異なるのは、AIエージェントが人より高速に、複数の操作を連続して実行できる点にある。
情報システム部門が確認すべきなのは、「AIエージェントを導入しているか」だけではない。「何にアクセスできるのか」「どこまで自律的に操作できるのか」「異常時に誰が止めるのか」まで把握することが、事故の影響を抑える第一歩になる。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
技術文書・技術解説
[アトラシアン株式会社] IT運用や従業員サポートは生成AIでどう変わる? 使い方や導入の流れは? -
製品資料
[株式会社みらい翻訳] 音声翻訳活用の課題を解決、“本当に使える”ツールの特徴とは? -
製品レビュー
[Wrike Japan 株式会社] 400店舗を支えるWalmart Canada、散在する情報やアナログな管理をどう変えた? -
事例
[Wrike Japan 株式会社] 年間100件超のDXプロジェクトを統合管理、JERAはどのように実現した? -
事例
[Wrike Japan 株式会社] グローバルなクリエイティブ業務を合理化、エスティーローダーに学ぶ実践のコツ
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
全社標準Copilotに絶望? MS Copilotで問い合わせ6割減できた企業は何が違った
-
2
身代金支払いは逆効果 情シスのためのランサムウェア対策ガイド2026
-
3
自社を守る「SCS評価制度」活用法 7割の企業が取引先起点の情報漏えいに直面
-
4
ランサムウェア、暗号化の89%は深夜 情シスが備える「夜間の空白」対策
-
5
多要素認証導入済みでもランサムウェア被害に 復旧費用は平均2億7000万円
-
6
「技術屋」で終わるか、部長へ昇格するか 今取りたい「IT×ビジネスの認定資格」5選
-
7
「Copilot」はなぜ放置される? “議事録要約止まり”を脱する処方箋
-
8
脱VMwareの前提が崩れる BroadcomのVDDK公開停止で確認すべき点
-
9
「AI活用を前提とした業務PCへの移行」に関するアンケート
-
10
AIエージェントを暴走させない設定、済んでますか? 対策5選を専門家が紹介
ホワイトペーパーランキング PR
-
1
5回聞くだけじゃ足りない? トヨタ式「なぜなぜ分析」の正しい実践方法
-
2
JR西日本ITソリューションズが「監視業務の属人化」を解消した方法とは?
-
3
生成AIで文書活用を進めるには? 効率化と安全性をどう両立する
-
4
Windows PCとMacの選択制で生産性向上 LINEヤフーが実践する運用管理方法とは
-
5
インシデント対応工数を約3割削減、東京ガスの事例に学ぶ監視体制刷新のコツ
-
6
国税庁の次世代基幹システム「KSK2」稼働開始に向けて、対応すべき変更点とは?
-
7
「スクラム」と「カンバン」の違いとは? アジャイル型開発手法を徹底比較
-
8
AI時代に成功するための「ナレッジマネジメント」ベストプラクティス
-
9
「オンプレミス回帰」せざるを得ない“合理的な理由”
-
10
Microsoft 365を安全に運用 うっかりミスやサイバー攻撃に備えるデータ保護術
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー