暴走するAIエージェントをどう防ぐ？ IBMのAI専門家が語る「3つの失敗」：すぐにできる対策
問題なく設定したはずのAIエージェントが暴走するのはなぜか――。IBMのミーナクシ・コダティ氏は、これらは偶発的な不具合ではなく、設計で防げると指摘する。
「AIエージェントを導入したのに、同じ処理を延々と繰り返す」「AIが実現の難しい計画を勝手に立てて暴走する」――。生成AIやAIエージェントの活用が広がる中、こうした“AIの失敗”に直面する企業が増え始めている。
このようなAIエージェントの失敗を“AIの気まぐれ”ではなく、設計や運用の不備によって起きる「予測可能な障害」だと指摘するのは、IBMのアドバイザリーAIエンジニア、ミーナクシ・コダティ氏だ。
コダティ氏は、AIエージェントで頻発する代表的な失敗として、「無限ループ」「計画のハルシネーション」「不安全なツールの使用」の3つを挙げている。
AIエージェントが陥る「3つの失敗」と対策
併せて読みたいお薦め記事
AIエージェント運用の関連記事
無限ループ（Infinite Loop）
無限ループは、AIエージェントが意味のある進捗を生まないまま、同じ、あるいは似たようなタスクを繰り返し続けてしまう現象を指す。
例えば、「社内文書を探してほしい」と依頼されたAIエージェントが、存在しない文書を延々と検索し続けるケースがある。エージェントは「検索→結果評価→再計画→再検索」というサイクルを繰り返すが、そもそも対象となる文書が存在しない場合、永遠にゴールへ到達できない。検索ワードだけを少しずつ変えながら、同じ処理を繰り返す状態に陥る。
コダティ氏はこの問題の主因として、「適切な終了条件が設定されていない」「過去の行動を追跡・比較していない」「リトライごとの進捗を確認していない」の3点を挙げる。つまり、AIが“前回と同じ失敗”をしていることをシステム側が認識できていないという。
対策としては、「最大リトライ回数」「最大ステップ数」「最大実行時間」といった終了条件を明示することが重要だという。さらに、過去の検索やアクションを比較し、変化がない場合は自動停止する仕組みや、「結果が改善しているか」を監視する進捗追跡も有効だとしている。
計画のハルシネーション（Hallucinated Planning）
計画のハルシネーションは、AIエージェントが「実行可能な計画」ではなく、「一見もっともらしいだけの計画」を立ててしまう現象を指す。
例えば、「500ドル以下の予算で取れるミラノ行きの航空券を予約して」と依頼すると、AIエージェントは「旅行予約のAPIを使って検索し、条件に合う便を予約し、確認メールを送信する」といった流れを提示する。一見すると完璧な計画だが、実際には、そのAIエージェントには、旅行予約のAPIへのアクセス権も、メール送信機能も与えられていない可能性がある。その結果、実行段階でエラーが発生する。
コダティ氏はこの問題の背景として、「ツールの機能や権限が曖昧」「計画と実行が分離されておらず事前検証がない」「制約条件を確認せず、AIが勝手に能力を想定している」ことを挙げる。
対策としては、ツールの機能や制限を明確に定義し、AIへ正確に理解させることが重要だという。また、「計画役」と「検証役」を分離するマルチエージェント構成や、高リスク操作の前に人間が確認する「Human in the Loop」の導入も有効だとしている。さらに、不明点があればAIが勝手に推測せず、人間へ確認を求める設計も必要だという。
不安全なツールの使用（Unsafe Tool Use）
不安全なツールの使用は、AIエージェントが技術的には正しい操作を実行しているにもかかわらず、その結果が組織にとって危険、破壊的、あるいは意図しないものになってしまうケースを指す。
例えば、「古いデータを削除せよ」と指示されたAIエージェントが、誤って現在利用中の重要データまで削除してしまうケースがある。また、人間のレビューを経ていない内容を、AIエージェントが顧客へ自動メール送信してしまうケースもある。
コダティ氏はこうした事故の原因として、「AIエージェントへ過剰な権限を与えている」「承認のワークフローが存在しない」「読み取り権限と書き込み・削除権限が分離されていない」点を挙げる。
対策としては、「最小権限の原則」を徹底し、AIエージェントには必要最小限の権限のみ付与することが重要だという。加えて、高リスク操作の前に人間のレビューを挟む承認フローや、「読み取り専用」「書き込み可能」「削除可能」といった権限の階層化も有効だとしている。
特に重要なのは、「AIの性能向上」よりも、「AIをどう制御するか」という設計思想だ。コダティ氏は、「AIエージェントの失敗は偶発的なものではなく、予測可能なものだ」と強調する。その原因は、「自律性が高すぎる」か、「制約が少なすぎる」か、あるいは「監視や追跡が不足している」ことにあるという。
コダティ氏は、信頼性の高いエージェントシステムを構築するためには、単にAIをツールにつなぐだけでなく、「エンジニアリングとしての規律」（Engineering discipline）を持ってシステム全体を設計することが不可欠であると結論付けている。
本稿は、IBMが2026年5月14日に公開した動画「Why Agentic AI Fails: Infinite Loops, Planning Errors, and More」を基に作成しました。
Copyright © ITmedia, Inc. All Rights Reserved.