AIが勝手にインフラを書き換える前に
AIエージェントを暴走させない設定、済んでますか? 対策5選を専門家が紹介
OpenAIとAnthropicは、サイバーセキュリティ評価中のAIモデルによるインシデントを公表した。悪意なく事案を引き起こす恐れがあるAIエージェントを統制するためのポイント5つを専門家が紹介する。
AIエージェントは意思決定や複雑なワークフローの実行を支援する一方、新たなセキュリティリスクを持ち込む。統制やポリシー、想定した適用範囲を外れて動く、いわゆる「暴走」だ。
暴走したAIエージェント(rogue AI agent)は、必ずしも悪意を持っているわけではない。だが、過剰な権限や不十分な監視の下では、意図しない操作や情報流出、外部システムへの攻撃を引き起こす可能性がある。企業は事案の発生をどのように避ければいいのか。セキュリティの専門家が5つのポイントを紹介する。
既存のセキュリティ原則で防ぐ暴走リスク
2026年7月、OpenAIは、サイバーセキュリティ評価中のモデルが隔離のための統制を回避し、インターネットへ接続した事案を公表した。モデルはOpenAIの研究インフラの一部を侵害したほか、Hugging Faceの複数サーバでコードを実行し、一部では管理者権限を取得。非公開データや認証情報にもアクセスしたという。
2026年7月30日にはAnthropicも、サイバーセキュリティ評価中に起きた3件のインシデントを公表した。Claude Opus 4.7やClaude Mythos 5などが参加した評価環境で、設定上の不備からインターネットへ接続できる状態になり、実在する3組織のシステムを評価対象と誤認して不正アクセスした。最も早い事案は同年4月に発生していた。
AIエージェントに人の介在を減らした業務を任せるほど、こうしたリスクは大きくなる。企業は自社のエージェントを制御するだけでなく、外部のエージェントが自社環境へ侵入する場合にも備える必要がある。
なぜAIエージェントは暴走するのか
原因は大きく5つある。
1つ目は、自律性の与え過ぎだ。人間の確認なしに複数の処理を連続実行させれば、小さな誤りが積み重なって大きな事故につながる。
2つ目は、ガードレールの不足だ。「何を実行できるか」「どこまで実行できるか」を技術的に制限しなければ、AIエージェントが不可逆な操作まで実行する恐れがある。
3つ目は、権限の与え過ぎだ。タスクに必要な範囲を超える権限を持たせれば、誤動作した際の影響範囲も広がる。
4つ目は、監視不足だ。API呼び出しやデータベースアクセス、クラウド操作などを記録していなければ、異常を事故発生後まで把握できない。
5つ目は、人が介入するポイントが決まっていないことだ。調査や情報収集は自動化しても、本番環境の変更やデータ削除まで人の承認なしで実行させるべきとは限らない。
情シスが最初に実施すべきこと
まず必要なのは、社内で稼働するAIエージェントの棚卸しだ。「どこで動いているか」「何にアクセスできるか」「どんな操作が可能か」を把握する。
その上で、AIエージェントを企業IT環境で動作する1つのシステムとして扱い、少なくとも次の5つを実施したい。
1.最小権限を徹底する
AIエージェントには、割り当てられたタスクの遂行に必要な権限だけを与える。利便性を理由に管理者権限を与えたり、将来使う可能性を理由に広範なアクセスを許可したりしない。
2.挙動を監視する
API呼び出し、データベースアクセス、クラウドサービスの操作、ファイルの読み書きを記録する。
例えば、普段アクセスしないデータベースを参照する、IAMの設定を変更する、これまで触れていなかったファイルを書き換えるといった挙動は、異常として検知できるようにする。
3.「正常な挙動」を決めておく
AIエージェントが通常アクセスするシステム、API呼び出し回数、扱うデータ、実行する操作などを定義しておく。
正常時の基準があれば、「突然API呼び出しが急増した」「通常は参照しないシステムへ接続した」といった変化を検知しやすくなる。
4.重要操作には人の承認を入れる
全ての操作を人が確認していては、AIエージェントを使う意味が薄れる。重要なのは、事故時の影響を基準に線引きすることだ。
公開情報の読み取りやレポート作成、計算などは自動化しやすい。一方、本番データベースの変更、システム設定の変更、機密情報の削除、管理者アカウントの作成、金融取引、アプリケーションの本番展開などは、人の承認を挟むべき操作だ。
5.すぐ止められる仕組みを用意する
異常を検知しても、AIエージェントを止められなければ意味がない。問題が発生した際に、認証情報を失効させる、セッションやプロセスを終了する、ネットワークから隔離する、外部ツールとの連携を遮断するといった対応を即座に実行できるようにする。
外部のAIエージェントから自社をどう守るか
OpenAIやAnthropicの事例が示すように、想定外にインターネットへ接続したAIエージェントが外部システムへアクセスする可能性もある。
このような場合に備えるための基本は特殊なものではない。重要なのは、外部から侵入されることを前提に「侵入後の行動範囲を狭くする」ことだ。
APIには強固な認証と認可を設定し、認証に成功したからといって広範なアクセスを許可しない。サードパーティアプリケーションやサービスアカウントにも最小権限を適用し、アクセスできるデータやシステムを限定する。
同時に、外部からのAPIリクエストや認証試行、ネットワーク接続を監視する。リクエストの急増や、普段アクセスされないシステムへの接続などを異常として検知する仕組みも必要になる。
さらに、社内のどのAIサービスやサードパーティ連携が、どのシステムやデータへのアクセス権を持つのかを定期的に棚卸しする。不要になった権限は削除する。
「AIだから特別」ではなく権限と影響範囲を管理する
AIエージェントの暴走対策というと、新しいセキュリティ製品やAI特有の防御策が必要なのではないかという声もある。しかし基本となるのは、最小権限、監視、認可、ゼロトラスト、人による承認といった既存のセキュリティ原則だ。
従来と異なるのは、AIエージェントが人より高速に、複数の操作を連続して実行できる点にある。
情報システム部門が確認すべきなのは、「AIエージェントを導入しているか」だけではない。「何にアクセスできるのか」「どこまで自律的に操作できるのか」「異常時に誰が止めるのか」まで把握することが、事故の影響を抑える第一歩になる。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
市場調査・トレンド
[株式会社スタディスト] 個人任せにしないカスハラ対策、現場で機能する「仕組み」に変えるヒント -
製品資料
[株式会社TOKIUM] マンガで学ぶ新リース会計基準対応の難しさ、「隠れリース」をどう判定する? -
製品資料
[株式会社TOKIUM] 経費精算システム導入でかえって負担が増大? よくある失敗例と回避のコツ -
製品資料
[株式会社TOKIUM] 「請求書受領システム」選定ガイド2026年版【適合度チェックリスト付き】 -
製品資料
[株式会社TOKIUM] 工程別に分かる、「請求処理業務効率化」チェックリスト
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
Microsoft 365侵害企業の9割はMFA導入済み 1002人調査で見えた盲点
-
2
なぜMicrosoftは「Rust」を標準言語に? AIで進むC/C++書き換えの課題
-
3
PHPはそもそも必要か? 脆弱性で問われる自社サイト安全性と保守負担のバランス
-
4
なぜデータの民主化は失敗するのか ゴールの誤りを正すAI活用の新アプローチ
-
5
「Copilot」がIT予算を食いつぶす? 高額請求を招く課金体系と節約術
-
6
8割がアナログに逆戻りする“やっぱりな理由” DXを阻む2つの落とし穴
-
7
なぜ「全社配布Copilot」は使われないのか? 失敗に学ぶAI定着
-
8
「AI時代の統合基盤・エンタープライズAI管理」に関するアンケート
-
9
「顧客の声」は負担ではなく資産 サーモスのコンタクトセンターに見る未来の姿
-
10
なぜ「Claude Code」拡張は消しても危ないのか? Cursorで不正版配信
ホワイトペーパーランキング PR
-
1
「IT史に名を残すシステム障害」8選
-
2
顧客対応自動化の要点:RAGとデータ連携で“業務で使える生成AI”にする方法
-
3
侵入から横展開まで27秒の脅威にどう立ち向かう? 防御のカギがEDRの理由
-
4
AI駆動攻撃にどう対抗する? 超速の攻撃からエンドポイントを保護する方法
-
5
マンガで解説:情シスの負担を減らす「MDRサービスのインシデント対応」の中身
-
6
有識者が語る、中堅中小企業に求められる最新のサイバーセキュリティ対策とは
-
7
10G回線の真価をフルに享受するには? 導入前にチェックしたいポイント
-
8
なぜAIは組織で定着しないのか? 全社展開を阻む「3つの壁」と突破のヒント
-
9
ランサムウェア攻撃“究極の対策”はこれだ
-
10
パスワードレスへの移行で失敗しないためには? 導入・運用上の注意点を解説
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー