“期待外れ”のAI障害対処
精度はわずか14%? インシデント調査でAIが“迷子”になる理由と改善策
AIツールによる障害への対処に期待が高まる一方、検証では原因特定の精度は低いという結果が出た。この課題に対し、IBM Researchが開発したオープンソース評価ツールと、特定精度を95%に改善した手法を解説する。
インシデント処理時の原因調査として、ログやメトリクス(指標)を大規模言語モデル(LLM)に入力して分析させる手法が模索されている。市場には「根本原因分析を90%高速化する」とうたうAIツールも存在する。
しかし、その実態は期待を裏切るものだ。Meta Platformsが2024年に公開した実証データによれば、過去のインシデントデータを用いて独自にチューニングしたLLMであっても、初期段階での原因特定の成功率は42%にとどまる。IBMの研究部門IBM Researchが構築した検証用ツール「ITBench」でも、「Gemini 3 Pro」のような高性能モデルでさえ正しい根本原因を突き止められないことが判明した。
LLMが失敗する最大の理由は、提供されるコンテキストに潜むノイズにある。例えば、ネットワーク設定の変更と直後の取り消しといった、本来の障害とは無関係な情報が存在すると、LLMはそれに固執してしまい、真の原因である設定ミスを見逃してしまうのだ。IBM Researchが2025年に実施した検証によれば、「ReAct」などLLMに調査プロセスを自律的に実行させる手法を用いた場合、原因特定の成功率は約14%という結果に終わっている。
この実戦では使い物にならない精度を、IBM Researchは95%という実用レベルに引き上げた。その突破口は、LLMに全てを丸投げするのをやめ、システムの「トポロジー」(構成情報)を使ってAIを正しく導くというアプローチにあった。
精度を14%から95%に改善した「制約」
併せて読みたいお薦め記事
インシデント対処にAIツールを活用する
2026年3月に開催されたテクノロジーカンファレンス「SREcon26 Americas」のセッション「From Chaos to Confidence: How SREs Can Leverage 50 (and Counting) Failure...」には、このプロジェクトを担当したIBM Researchのローハン・アローラ氏らが登壇した。セッション内で彼らはAIモデルの能力を科学的かつ定量的に評価するためのオープンソースの検証システムであるITBenchを開発し、その成果を発表した。
ITBenchはコンテナオーケストレーションツール「Kubernetes」で稼働し、「Apache 2.0」ライセンスの下、ソースコードリポジトリ「GitHub」で公開されている。ITBench内には、マイクロサービスで構成されたテスト用アプリケーションや、標準的なオブザーバビリティツール群があらかじめ用意される。評価の仕組みとしては、自動化ツール「Ansible」を利用して、不具合のあるソフトウェアを配置するなどの障害を注入し、その障害をAIエージェントがいかに迅速かつ正確に診断、緩和できるかを測定する。
評価に当たっては、AIモデルの評価で一般的に用いられる「Pass at K」(K回の試行内に正解を含められたかどうか)や、IT運用の標準指標である「Mean Time to Resolution」(MTTR:平均復旧時間)を採用した。
独自の指標として、「Mean Time to WTF」という概念が導入された。これは、AIモデルが的外れな提案や行動を取り、人間のサイト信頼性エンジニアを困惑させるまでの時間を示すものだ。AIツールの導入によってかえって現場の作業負担が増加してしまっては本末転倒であるため、運用担当者にとっての真の有用性が厳しく問われているのだ。
初期の実験では、LLM自身にデータ収集から分析、解決策の立案までを全て任せるアーキテクチャが採用されたが、前述の通り原因特定の成功率は約14%、問題解決に至る割合は約11%にとどまった。分析の結果、LLMは巨大で複雑なKubernetesシステムで迷子になり、不要な情報収集を繰り返して幻覚(ハルシネーション)を引き起こしていることが分かった。
そこで研究チームは、アプリケーションのトポロジー情報を用いて、LLMが探索できる範囲を意図的に制限する手法を考案した。アラートが発生したサービスの周辺にのみ範囲を絞り、あらかじめ定義された固定の手順に基づいてLLMに状況を共有することで、LLMが各種ツールを操作して原因を探る負担や生データを解析する負荷を軽減したのだ。結果として、この制約を与えられたAIエージェントは、3回の試行で原因を特定する割合(Pass at 3)において約95%という劇的な精度向上を達成した。
AIエージェント育成に向けたコミュニティーの拡大
ITBenchは、過去のインシデントレポートを読み込ませることで、LLMを活用して自動的に障害シナリオを評価システム内に構築する機能も備えている。これによって、人間が手作業でコードを書かなくても評価用のテストケースを容易に拡充できる。
ITBenchが対象とするのはSRE(サイト信頼性エンジニアリング)領域だけではない。過去には、悪意のある攻撃者がGPU搭載の仮想マシンを不正に立ち上げて暗号資産のマイニングを行った事例が存在する。この異常にいち早く気付いたのはSREではなく、クラウド費用の急増を検知したFinOps(クラウド費用最適化)の担当者であったという。このように、ITBenchはセキュリティやFinOpsといった周辺領域のインシデント評価にも応用できる高い適応力を持っている。
発表時点でITBenchに実装されている障害パターンは、現実のシステム運用で想定されるトラブルの約15%をカバーしているに過ぎないという。「真に信頼できるAIアシスタント」を育てるため、開発チームはIT担当者に対し、日々の運用やCI/CDパイプラインで遭遇したインシデント事例をベンチマークに追加するよう呼び掛けている。
本稿は、USENIXが2026年4月24日に公開した動画「SREcon26 Americas - From Chaos to Confidence: How SREs Can Leverage 50 (and Counting) Failure...」を基に作成しました。
Copyright © ITmedia, Inc. All Rights Reserved.
本記事は制作段階でChatGPT等の生成系AIサービスを利用していますが、文責は編集部に帰属します。
関連記事
新着ホワイトペーパー PR
-
プレミアムコンテンツ
[アイティメディア株式会社] AI活用を成功に導く「オブジェクトストレージ」 NAS/SANの限界を突破するには -
プレミアムコンテンツ
[アイティメディア株式会社] 「性能ならSSD」「大容量ならHDD」はもう古い? 変わるストレージの常識 -
プレミアムコンテンツ
[アイティメディア株式会社] 「オンプレミス回帰」がまさかの失敗に クラウドをやめずに安くする最適化手法 -
事例
[発注ナビ株式会社] AI活用を成功させる企業とそうでない企業の違いとは? -
製品レビュー
[発注ナビ株式会社] システム開発「はじめの一歩」 押さえておきたい基礎知識と失敗を防ぐ方法
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
SAP移行で1900億円の赤字 「ベンダー任せ」が招くERP崩壊と回避策
-
2
「VMware vCenter」でゼロデイ悪用、PHPも修正――今朝の情シスニュース
-
3
「Copilot利用率99%」デンソー驚異の定着術 3万人を動かした“社長賞”の舞台裏
-
4
「GPT-6.1 Terra」は半額 それでもなぜ企業はAIモデルを選べないのか?
-
5
「nginx」のHTTP/2脆弱性(CVSS 9.2)、パッチ適用までの緊急チェックリスト
-
6
積水化学工業が「SAP S/4HANA Cloud」の“全グループ導入”に踏み切った訳
-
7
AIに長文を入力する際の「コンテキストウィンドウ」の適切な扱い方はどれ?
-
8
“アジャイルの壁”に挑むオリックス生命がIBMの開発管理ツールを選んだ理由
-
9
「Chrome」「Edge」「Firefox」のメモリ使用量はどれだけ違う? 測定してみた
-
10
「Active Directory」復旧で“詰む”企業が続出 ランサムウェアに備える4対策
ホワイトペーパーランキング PR
-
1
「IT史に名を残すシステム障害」8選
-
2
SCS評価制度時代の「SASE選定」ガイド
-
3
Microsoft 365 Copilotを安全&効果的に活用するために必要な「2つの準備」
-
4
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
-
5
パスワード管理だけで十分? 特権アクセスを脅かす暗号鍵の放置リスクとは
-
6
すぐ分かる「AWS WAF」ガイド:特徴・運用課題・メリットを解説
-
7
マンガで解説:情シスの負担を減らす「MDRサービスのインシデント対応」の中身
-
8
「Copilot Cowork」でこう変わる AIエージェント時代の新たな働き方とは
-
9
AI活用で激化する外部・内部リスク、取引先へ波及する脅威から守る対策とは?
-
10
Microsoft 365 Copilotで実際何ができる? 回答の精度を高めるRAGとは?
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー