AIの“自信満々なうそ”にだまされる人間 インシデント調査自動化が抱える闇：原因特定精度はわずか11％でも……

人手不足が深刻なIT現場で、システム障害対処を自動化するAIエージェントは救世主のように思えるが、全ての提案をうのみにすることは誤りだ。誤った回答を出し続けるAIエージェントに依存すると何が危険なのか。

[TechTargetジャパン]

　システム障害が発生した際、膨大なアラートやログから状況を把握し、原因を特定して復旧する作業は、担当者にとって大きな重圧になる。この初動調査の負担を軽減する仕組みとして、AIエージェントの導入が急拡大している。商用の監視ツールに加え、オープンソースの監視ツールもAIエージェントとの連携が進んでいる。

　AIエージェントの優位性は、散在するシステムログやメトリクス（指標）を即座に収集し、相関関係を見つけ出す際の圧倒的な処理速度にある。従来であればエンジニアが複数の画面を行き来する必要があった情報収集と初期分析を自動化し、解決策を提示してくれる。

　しかし、この利便性の裏で、現場のエンジニアは思いがけない落とし穴に直面している。与えるデータが不適切であれば、AIエージェントは無関係な情報分析に固執し、かえって調査のノイズになってしまう。真の危機は、AIが「自信満々にうそをつく」こと、人がそれを検証せずに盲信してしまうことだ。

AIの“醜い側面”

併せて読みたいお薦め記事

AIエージェントで障害対処は楽になるのか

• インシデント処理を4時間から8分に短縮する「AIエージェント」の真価
• 精度はわずか14％？　インシデント調査でAIが“迷子”になる理由と改善策

　AIエージェントが陥る「バッド」（Bad）な側面の筆頭は、文脈の欠如による迷走だ。AIモデルは与えられたデータに基づいて推論するため、ノイズが多いログを読み込ませると、無関係なアラートの深掘りを始めてしまう。近年の大規模言語モデル（LLM）は処理できるコンテキスト長（やりとりの中で保持できる情報量）が増加しているとはいえ、システムが吐き出す膨大なデータを全て処理できるわけではなく、情報を詰め込み過ぎると推論性能が著しく低下する。「ごみを入れればごみが出てくる」という原則の通り、入力するデータの品質を人が管理できなければ、AIエージェントの能力を引き出すことはできない。

　ただ、これらは運用上の工夫で回避できる課題に過ぎない。AI技術を活用した自動音声サービスを手掛けるVocaly AIの創業者ブラディスラフ・ブディチェンコ氏が警鐘を鳴らすのは、システムや企業に深刻な打撃を与えかねない「アグリー」（Ugly：醜い）な側面だ。

根本原因の特定精度は11％

　1つ目の危険性は、AIエージェントによる根本原因分析の精度の低さと、それに反比例する「自信」だ。Microsoftと清華大学の研究チームが開発したシステム障害の原因究明ベンチマーク「OpenRCA」を用いた検証結果がある。この検証では、実稼働する3つの企業向けソフトウェアシステムから収集された335件の障害データと、約68GBに及ぶ膨大なテレメトリーデータを対象に、大規模言語モデル（LLM）の推論・原因特定能力をテストした。その結果、プログラム実行機能を備えた専用のエージェントを用いた最優秀モデル（Claude 3.5）であっても、障害の発生場所、発生時刻、原因の全てを正確に特定できた割合（完全特定率）は、わずか11％に過ぎなかった。問題は、AIエージェントがこのように低い正答率にもかかわらず、常に100％の自信を持って「もっともらしい」説明を生成することだ。

　このAIエージェントの挙動は、2つ目の危険性である「人の過信」を誘発する。AIエージェントが提示するもっともらしい解決策を、エンジニアは十分に検証せずに承認してしまう傾向がある。IBMが調査会社Ponemon Instituteと共同で実施し、2024年3月〜2025年2月にデータ侵害を経験した3470人のセキュリティ担当者および経営層への調査によると、AI関連のデータ侵害を経験した企業の97％において、AIエージェントに対するアクセス制御が不十分だったことが明らかになっている。

　この過信は、企業の技術力そのものをむしばむ。若手エンジニアはAIエージェントに依存することで、自力で調査するスキルを習得する機会を奪われ、熟練エンジニアも手動調査の能力が衰退する危険性が指摘されている。人を介在させる仕組みを取り入れても、人がただ承認ボタンを押すだけになってしまえば、その意味を成さない。

　セキュリティ上の新たな脅威も浮上している。攻撃者がアプリケーションのログに悪意のあるコマンドを仕込み、インシデント調査のためにログを読み込んだAIエージェントにそのコマンドを実行させる「プロンプトインジェクション」攻撃が登場している。AIエージェントに自律的な修復権限を与えている場合、意図せず機密情報を漏えいさせたり、システムを破壊したりする恐れがある。

人とAIの適切な分担

　これらのリスクを踏まえ、インシデント対処におけるAI活用はどうあるべきか。ブディチェンコ氏は、AI技術を「力の乗数」として位置付けることを推奨する。ツールの壁を越えたデータの相関分析や既知のパターンの認識、初期対処の高速化といった領域では、AIエージェントの能力を最大限に引き出すことが可能になる。

　一方で、システムの高リスクな変更や未知の複雑なインシデント対処など、最終的な意思決定と自律的な実行は人間が担う必要がある。AIエージェントが提示する結果は必ず検証するという原則を組織内で徹底し、人とAIエージェントの適切な協調体制を築くことが、次世代のインシデント対処を成功させる鍵になる。

本稿は、USENIXが2026年4月24日に公開した動画「SREcon26 Americas - AI Agents for Incident Investigation: The Good, The Bad, and The Ugly」を基に作成しました。